产业互联网时代下海量数据处理问题（如何解决海量数据带来的问题）

产业互联网时代下海量数据处理问题（如何解决海量数据带来的问题）

产业互联网作为移动互联网的未来， 在 5G+ 云 +AI 互融的时代，行业应用如何有效利用 5G、AI 和云计算技术的优势，云原生边缘计算提供了一条可行的途径。

云原生边缘计算发展现状

万物互联时代，终端设备产生的数据将爆炸性增长，据 IDC 研究显示，到 2020 年将产生 500 亿的终端与设备联网，其中 50% 的数据将会在靠近数据源的边缘侧进行分析、处理，以满足业务的低时延诉求。

按照用户 / 终端到中心云的距离，大体上可以划分 3 个“时延圈”，如下图所示：

第一个“圈”是现场边缘，覆盖 1~5ms 时延范围，算力以推理为主，主要面向自动驾驶，工业互联网等实时性业务，典型的现场边缘站点包括边缘服务器，华为智能边缘小站 Atlas 500 等。

第二个“圈”近场边缘，覆盖 5~20ms 时延范围，算力以渲染为主，同时还有一部分推理，主要面向视频场景，典型的近场边缘站点包括 CDN 节点、5G MEC 等。

第三个“圈”则是传统的公有云覆盖范围，用于承载未下沉部分的业务，主要面向大规模场景，例如海量的数据存储、挖掘、AI 深度神经网络模型的训练等。

然而，边缘计算还仍然存在着诸多挑战，例如：

边缘节点 CPU、MEM 等资源受限、硬件资源异构等；

如何与云上业务、AI 平台协同；

海量边缘设备管理和运维，边缘应用的生命周期管理等；

当网络或节点出现故障时，边缘应用需要离线自治能力，确保仍然能够正常运行。

云原生以轻量化的容器技术作为基础平台，资源占用少、快速扩容、高效的应用生命周期管理，基于微服务架构，可扩展性、故障可恢复性，持续交付等特性，非常适合边缘计算场景。

Kubernetes 因通用的应用抽象定义、松耦合的架构、易扩展的 API 框架，已经成为云原生的事实标准，但是还不能完全解决上述边缘计算的诸多挑战，面对边缘计算的轻量化诉求，仍显厚重，因此原生团队针对边缘计算场景对 Kubernetes 进行了增强，最终打造了 CNCF 基金会第一个边缘计算项目——KubeEdge，其优势在于：

云边协同：云边一致的应用使用体验，设备的接入和管理，端边云统一管理和运维界面；

高速云边通信：WebSocket + 消息封装，大幅减少通信压力，网络受限情况下仍能正常工作；

边缘离线自治：边缘节点元数据持久化，实现节点级离线自治，边缘节点故障恢复无需与管理面通信，快速恢复；

极致轻量：重写 Kubelet 模块，极致轻量化（~70mb 内存占用），支持 CRI 集成 Docker、Containerd、CRI-O，优化 runtime 资源消耗；

5G + 云 + AI 如何互融？

5G 解决的是产业互联网时代的海量数据传输问题，云计算解决的是大规模计算问题，5G 和云是密不可分的一对。人工智能、大数据、区块链等为代表的云计算技术与 5G 为代表的通信技术如何互相融合、相互促进？云原生边缘计算技术是一个可行的途径。

5G 的特点可以总结为“一高两低三大”：高可靠性，低功耗、低时延，大连接、大覆盖、大容量，这些特点将催生大量创新业务模式，主要包括以下三大应用场景：

eMBB，增强型移动宽带，应用于对带宽有极高需求的业务，如 4K/8K 高清视频、AR/VR/ 云游戏等。

mMTC，大规模机器类通信，应用于连接密度要求较高的业务，如智慧城市、环境监测、智能家居等。

uRLLC，超可靠低时延类通信，应用于对时延极其敏感的业务，如无人驾驶、工业自动化控制、远程医疗等。

基于云原生的边缘计算，是支撑创新业务模式的最佳选择。例如中心云提供海量算力、存储和统一管控平台，5G MEC 边缘云提供 5G 流量的接入和推理渲染算力，将上述新型业务作为边缘应用，利用云原生的技术快速灵活下发到 MEC 中，数据本地快速闭环，快速推理或渲染，处理结果上传中心云进行全局的分析、处理和优化，以此实现 5G+ 云 +AI 智能互融。具体方案如下图所示：

MEC 是网络部署位置和协议栈方面的第一跳入口，部署到 MEC 的边缘应用可享有数据本地化、流量卸载本地分流快速闭环等优势，可有效降低业务处理时延、减少转发设备跳数 / 性能，从而有效降低业务成本等。通过云原生边缘计算技术，将云和 5G 进行有机的结合，5G 边缘云还可以具有如下优势：

边云协同，中心云对地理离散的边缘应用进行集中化的统一管控和协同，应用可以云边、边边无缝迁移和弹性伸缩，云边、边边网络自动打通等。

边缘智能，可以将 AI 算法下沉到边缘，实现云端训练、边缘推理可极大提升边缘设备的业务处理和智能分析的能力，有效地解决传统端 - 云模式下数据传输效率低、带宽需求量大、分析效率低下、业务处理时延高等诸多问题，让带宽和时延不再成为 AI 使能业务的瓶颈。

完善的云生态，中心云上现有的生态，如智慧园区、智能交通、工业制造、水务水利、智慧商超等多个行业和场景的算法和应用，可以方便的通过云原生边缘计算的方式部署到边缘。

5G + AI + 云 + IEF 最佳实践

智能边缘平台 IEF ，作为 KubeEdge 的商业版，同样是基于容器和 Kubernetes 生态构建，提供具备极致轻量、边云协同的边缘计算服务，除上文中所述的云原生能力外，还具有如下增加特性：

高速消息通道：保证云边之间高速、可靠、有序、安全的进行通信。

离线自治：边缘节点和应用故障快速感知，应用在边缘集群中自动调度，快速迁移，秒级恢复。

边云协同：云边一致的使用体验，应用一次构建到处运行，应用根据负载在云边自适应调度和弹性部署，还可将 AI 算法类、IoT 类、时序数据库、流计算等多种应用从延伸到边缘。

边缘鲲鹏 + 昇腾深度整合：与边缘专用 AI 推理芯片昇腾 310，华为自研 ARM 处理器深度结合，为 AI 容器提供高性能、低成本的边缘算力，性价比提高 3 倍。

开放的边缘生态：基于智能边缘市场，提供边缘应用和硬件的认证、发布，第三方用户快速订阅和推送。

在某智慧园区中，基于 IEF 和 5G MEC，人员识别和机器人的自动巡检相结合，可动态的识别陌生人。AI 人员识别应用利用中心云的算力，在 ModelArts 中快速进行迭代训练，然后将人员识别算法和应用程序通过 Docker 打包成一个容器镜像，通过 IEF 一键下发到 MEC 边缘云，视频流通过 5G 大带宽、低时延网络上传到 MEC 中，直接进行视频智能分析，完成识别。该方案具有如下优势：

云边协同，中心云集中管控，统一运维，中心云训练，边缘云推理；

针对移动和布线不便的场景，5G 具有天然的优势，无需为布线投入资金；

按需使用，容器在 MEC 上可以动态伸缩，平滑扩容，更加高效的利用资源。

基于 5G 的人员识别效果如下图所示：

总  结

云原生边缘计算技术，因其天然的轻量化和可移植性，可以将应用下发到多种具有一定计算能力的设备上，包括 5G MEC；同时凭借强大的边云协同的能力，必将成为 5G + 云 + AI 相互融合时代的重要加速引擎。