存算分离,让美图处理海量数据的资源利用率提升40%

admin 157 2022-08-22

阿里云服务器优惠多,折扣错,惊喜多,请咨询:www.wqiis.com

存算分离,让美图处理海量数据的资源利用率提升40%

内容简介:

存算分离,让美图处理海量数据的资源利用率提升40%

随着业务数据量指数级增长,美图的IDC大数据中心机房空间有限,设备老旧,采购扩容周期长,无法快速扩展支撑业务的增长,同时IDC大数据计算资源和存储资源耦合,无法按计算和存储不同的增长规律分别动态扩缩容,整体资源利用率低,数据存在多份拷贝,存储资源冗余,另外在IDC大数据中心机房自建大数据集群,采用开源软件,需要投入大量人力维护开源软件的功能Bug、可靠性和稳定性等问题,大数据集群的资源扩缩容、网络带宽调整、大数据本地磁盘的损坏,都需要IT运维,运维工作量大,人力投入成本高。

美图采用了大数据存算分离方案,统一数据湖,实现了一份数据自由流动,避免重复拷贝,支持多元计算和AI创新,数据快速变现,数据文件存储规模无限扩展,打破单集群限制,解决运维痛点,同时对计算与存储资源进行解耦,存储不足扩存储,计算不足扩计算,面对数据激增的浪涌弹性伸缩,资源灵活部署,计算存储资源利用率整体提升40%。

内容大纲:

1、智能数据湖技术趋势发展;

2、MRS智能数据湖架构&存算分离关键技术介绍;

3、美图大数据搬迁存算分离案例解读。

听众收益:

1、了解业界数据湖技术发展趋势;

2、了解MRS智能数据湖关键技术;

3、了解 互联网行业数据湖实践方案。

上一篇:KubeEdge Sedna如何实现边缘AI模型精度提升50%(KubeEdge Counter Demo)
下一篇:探索Serverless数据湖:无需大数据背景,会SQL就会大数据分析
相关文章

 发表评论

暂时没有评论,来抢沙发吧~