华为云ModelArts开放免费试用，极致性能等你体验(2)
时间:2018-11-17 04:10 来源:网络整理 作者:墨客科技 点击:次
对用户而言,最终关心的指标是收敛时间,因此MoXing和ModelArts实现了全栈优化,极大缩短了训练收敛时间。在数据读取和预处理方面,MoXing通过利用多级并发输入流水线使得数据IO不会成为瓶颈;在模型计算方面,MoXing对上层模型提供半精度和单精度组成的混合精度计算,通过自适应的尺度缩放减小由于精度计算带来的损失;在超参调优方面,采用动态超参策略(如momentum、batch size等)使得模型收敛所需epoch个数降到最低;在底层优化方面,MoXing与底层华为自研服务器和通信计算库相结合,使得分布式加速进一步提升。 5.测试结果对比,用数据说话 一般在ImageNet数据集上训练ResNet-50模型,当Top-5精度≥93%或者Top-1 精度≥75%时即可认为模型收敛。 我们测试的模型训练收敛曲线如下图所示。此处Top-1和Top-5精度为训练集上的精度,为了达到极致的训练速度,训练过程中采用了额外进程对模型进行验证,最终验证精度如表1所示(包含与fast.ai的对比)。图4(a)所对应的模型在验证集上Top-1 精度≥75%,训练耗时为10分06秒;图4(b)所对应的模型在验证集上Top-5 精度≥93%,训练耗时为10分58秒。
(a)
(b) 图4. ResNet50 on ImageNet训练收敛曲线(曲线上的精度为训练集上的精度) 表1. MoXing与fast.ai的训练结果对比 训练平台 节点数量 训练时长 Top-1 精度 (验证集) Top-5 精度 (验证集) Fast.ai on AWS 16 0:18:06 75.67% 93.11% MoXing on ModelArts in Huawei Cloud 16 0:10:06 75.17% 92.70% MoXing on ModelArts in Huawei Cloud 16 0:10:58 76.04% 93.15% 6. 未来展望--更快的、更普惠的AI开发平台 华为云ModelArts致力于为用户提供更快的普惠AI开发体验,尤其在模型训练这方面,内置的MoXing框架使得深度学习模型训练速度有了很大的提升。正如前所述,深度学习加速属于一个从底层硬件到上层计算引擎、再到更上层的分布式训练框架及其优化算法多方面协同优化的结果,具备全栈优化能力才能将用户训练成本降到最低。 后续,华为云ModelArts将进一步整合软硬一体化的优势,提供从芯片(Ascend)、服务器(Atlas Server)、计算通信库(CANN)到深度学习引擎(MindSpore)和分布式优化框架(MoXing)全栈优化的深度学习训练平台。并且,ModelArts会逐步集成更多的数据标注工具,扩大应用范围,将继续服务于智慧城市、智能制造、自动驾驶及其它新兴业务场景,在公有云上为用户提供更普惠的AI服务。 目前华为云ModelArts已经在火爆公测中,欢迎大家试用。 ModelArts官网:登陆华为云首页搜索ModelArts
|
