大数据的羹怎么分给每一个人？

着模型缩放以达到更高的准确性，对这些模型的训练变得越来越具有挑战性。前面的样本也显示了，依靠GPU基础结构的改进来实现更好的训练是不可持续的。我们需要分布式计算方法，这些方法可以并行化跨不同节点的训练工作量，以扩展训练规模。分布式训练的概念听起来很琐碎，但实际上却极其复杂。

谷歌的GPipe 

GPipe专注于扩展深度学习计划的训练工作量。从基础架构的角度来看，训练过程的复杂性是深度学习模型经常被忽视的一个方面。训练数据集越来越大，越来越复杂。例如，在医疗保健领域，需要使用数百万个高分辨率图像进行训练的模型并不罕见。结果，训练过程通常要花费很长时间才能完成，并且内存和CPU消耗非常大。

思考深度学习模型的分布式的有效方法是将其划分为数据分布式和模型分布式。数据分布式方法采用大型机器集群，将输入数据拆分到它们之间。模型分布式尝试将模型移至具有特定硬件的加速器，例如GPU或TPU，以加速模型训练。

概念上看，几乎所有训练数据集都可以按照一定的逻辑进行分布式训练，但是关于模型的说法却不尽相同。例如，一些深度学习模型由可以独立训练的并行分支组成。在那种情况下，经典策略是将计算划分为多个分区，并将不同的分区分配给不同的分支。但是，这种策略在按顺序堆叠各层的深度学习模型中是不足的，

GPipe通过利用一种称为流水线的技术将数据和模型分布式结合在一起。从概念上讲，GPipe是一个分布式机器学习库，它使用同步随机梯度下降和流水线分布式进行训练，适用于由多个连续层组成的任何DNN。

GPipe在不同的加速器之间划分模型，并自动将一小批训练样本拆分为较小的微批。该模型允许GPipe的加速器并行运行，从而最大限度地提高了训练过程的可扩展性。

下图说明了具有连续层的神经网络的GPipe模型在四个加速器之间分配。Fk是第k个分区的复合正向计算函数。Bk是相应的反向传播函数。Bk取决于上层的Bk + 1和Fk的中间激活。在顶级模型中，我们可以看到网络的顺序性质如何导致资源利用不足。下图显示了GPipe方法，其中将输入的迷你批处理分为较小的宏批处理，这些宏批处理可由加速器同时处理。
 

5G商用一年来，应用创新不断拓展。从5G当前的产业创新实践来看，无论是远程操控类、图像识别类，还是无人机器类等场景应用，真正能够促进行业的数字化转型与智能升级，仅靠单纯的5G连接能力是远远不够的，必须要与行业信息化系统结合，才能真正产生价值。

工业和信息化部信息通信发展司司长闻库表示：“应以5G等应用创新为着力点，深度挖掘垂直行业需求，鼓励信息通信业与工业、交通、医疗、能源、教育等各个行业更大范围、更深层次的协作创新，不断丰富应用场景，构建广泛应用生态。”

中科院院士尹浩指出：“5G发展不应是一项技术的单打独斗，而是要与云计算、大数据、人工智能、区块链、边缘计算等其他信息通信技术一起，促进传统产业升级，孵化新应用，催生新业态。”鲁勇也表示：“5G是智能世界的信息连接平台，是行业智能化转型的‘中间件’，必须要和其他的技术结合起来，在与行业交融时要抓准行业切入点。”

华为公司董事、企业BG总裁彭中阳认为，推进行业数字化进程，要以场景化创新来实现。“实现场景数字化，主要有三个关键要素。首先是‘有技术’，要善于将多种信息通信技术与核心业务相融合;其次是懂行业，要敬畏行业，深入洞察行业，理解行业知识;最后是‘真实践’，在实践中去探索、去创造。”

“用户需要的不仅是5G，而是在5G的技术转换过程当中，能够解决哪些实际问题。”华为公司中国区副总裁董明说。闻库认为，5G是一个非常有挑战性的“蓝海”，涉及很多新兴领域。未来，5G在稳投资、促消费、助升级、培植经济发展新动能等方面的潜力将进一步显现。

国内5G发展仍面临成本、应用等方面挑战，需要设计出更加成熟的商业模式，以实现价值利益的合理分配

今年5月，广东省提出建设首批8个“5G+工业互联网”应用示范园区;山西省提出在今年年底前，5G+智能矿井示范项目达到2个，2022年底前达到15个……今年以来，中央对加快新型基础设施建设进度接连作出重要部署，明确5G作为重点方向之一，多个部门、地方推出了建设计划。

5G商用一年来，系列产业政策相继出台。国家发改委、工信部已发布包括医疗、教育、电力等垂直领域7项5G创新应用提升工程，同时提出加快网络部署、丰富应用场景等多项具体措施;多个省份发布5G专项建设方案和产业推动的行动计划，各地推动5G应用与地方经济融合，加速5G产业聚集。

与此同时，5G产业生态也迅速发展起来。2019年，我国5G手机占手机市场总出货量的3.5%，截至今年9月，占比达到47.7%;在珠峰地区，我国建成了全球海拔最高5G基站，实现珠峰峰顶5G覆盖;在山西阳泉煤矿，实现了全球最深地下534米矿井的5G有效覆盖。统筹推进疫情防控和复工复产期间，依靠新一代信息通信基础设施，实现了防疫大数据、远程医疗、远程课堂等应用。

“从国家层面，我们发挥各个部门、全社会力量，推动信息通信基础设施发展，制定了‘宁可路等车，不能让车等路’的适度超前原则。”闻库说，“随着技术和网络升级，网络基础设施超前部署，网速也在翻倍。这些指标还是非常可观的。”

不容忽视的是，目前国内5G发展仍面临建网运营成本较高、计费机制不完善等问题，应用场景不够多、安全问题等也是亟待克服的短板。比如，在5G规模部署过程中，就面临着基站站址获取难，进入成本高等问题。为此，一些地方注重资源利用的集约化，实行5G站点资源开放，大力发展智慧灯杆。在降低用电成本方面，一些地方也在加快推进5G基站转供电改直供电，采用各种方式降低基站电费。

（编辑：平顶山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!