贡醮 发表于 2025-10-16 11:50:11

vivo HDFS EC大规模落地实践

作者：Gu Ruinan -  互联网大数据团队- Zhao Yongxiang
Erasure Coding(简称EC)，是一种纠删码。EC编码能够对部分缺失的数据进行数据恢复，广泛应用于存储与通信领域。在Hadoop3.0版本中，作为一种新的冗余存储的方式引入进来。使用EC编码的方式替代原来的三副本存储，保证数据可靠性的同时可以节约存储。相应地，付出的代价是读取性能的下降，对于访问频率不高的数据，使用EC编码很合适。
vivo目前HDFS集群节点达万台级别，数据规模接近EB级别，并且业务数据规模还在以较高速度持续增长中。在推进压缩算法缓解存储压力的同时，EC编码的推进也是存储降本的一大有力手段。
 

1分钟看图掌握核心观点
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

窝酴 发表于 2025-11-30 07:41:00

感谢分享，下载保存了，貌似很强大

边书仪 发表于 2025-12-4 06:05:51

热心回复！

米榜饴 发表于 7 天前

感谢分享

嶝扁 发表于 昨天 14:27

用心讨论，共获提升！
页: [1]
查看完整版本: vivo HDFS EC大规模落地实践