麒麟芯片的黑科技同样的App，在华为手机上就多几种AI能力

　　机器之心报道
　　编辑：泽南
　　各家厂商都有自己的AI芯片，但华为率先做到了从芯片到应用，再到云服务的高度协同。
　　手机上的NPU推出了四年，时间已不算短，人工智能应用得怎么样了？
　　现在很多手机芯片上都有AI计算单元，每个人都可以有自己的答案。不过用华为手机的人，获得的体验经常比其他用户好一点：他们的手机有更强的信号，均衡的能效比，还有融合在系统中，提供便利的各种AI功能。
　　华为的产品还支持最新AI算法，你也许会发现，同样的App在华为手机上多了一些专属的能力，如实时视频超分辨率、视频风格迁移、本地化的输入法预测等等。
　　今天，人工智能不是元宇宙这样遥不可及的概念，而是已被每天数亿人大量使用的普遍技术，它甚至改变了很多人打开App的方式。
　　这些AI技术的效果超出了人们的最初想象。
　　用低清流量，看高清视频
　　我们对于视频超分辨率的印象，大多还停留在英伟达GPU对于游戏大作的帧率加成上。自从RTX系列显卡诞生以来，深度学习超采样技术DLSS大幅提升了玩家的游戏体验。这种技术可以通过深度学习把低分辨率图像自动脑补成高分辨率，输出4K分辨率的画面时，只需生成1080P的画面再用AI来转化，可以减小显卡负担，提升效率。
　　打游戏有这么大的提升，在手机上看短视频和直播能不能加入超清效果呢？HUAWEIHiAIFoundation已经让很多应用实现了这个能力。
　　在超分辨率任务上，传统算法需要CPU和GPU对图像进行二次加工计算，功耗极高，效果就像是调亮了一点，并不明显，华为技术专家表示。若想解决算力、IO、功耗等问题需要结合HUAWEIHiAIFoundation和NPU来完成。我们与很多厂商合作，在当前主流的App上集成了画质增强功能。
　　原画面、AI超分辨率算法和低分辨率锐化处理的对比。
　　今年3月，在爱奇艺App最新发布的版本中，爱奇艺与HUAWEIHiAIFoundation合作，在带有NPU机型的应用上率先提供了增强画质功能。该功能可让视频在480P分辨率播放过程中，保持相同流量消耗的情况下体验到更高清品质的视觉效果。
　　这项功能适配了从Nova6到Mate40系列等多个华为机型。
　　开启画质增强功能后，480P及以下清晰度的视频可以秒变高清，大致相当于1080P的水平。
　　增强画质是基于爱奇艺自研超分算法部署在麒麟芯片NPU引擎（神经网络处理器）和HUAWEIHiAIFoundation上的功能，可以在画面轮廓清晰度、画面通透性、色彩饱和度等方面实现明显提升。
　　通过这一能力，手机可以在本地完成视频实时增强画质处理，在不影响帧率的情况下把清晰度提升两倍，有效解决了视频播放卡顿问题，在地铁或高铁等信号弱，网络不流畅的场景下，也能看高清视频。
　　在爱奇艺、优酷等主流视频App平台上，HUAWEIHiAIFoundation加持的超分辨率性能最高可以提升80，功耗最高可降低45。
　　在手机上实现异构计算
　　除了图像技术，手机上还能直接跑一个完整的输入法预测模型。譬如，在百度输入法华为版中，其使用的AI算法结构复杂，但通过任务拆分，工程师们把模型推理的计算工作分配到NPU和CPU上进行异构计算，并进行了极致的优化，把输入法预测任务从云端完全转移到了手机上。
　　百度语音语义的模型技术较新，结构也很复杂，最近的很多AI应用都是如此。从最早的CNN、LSTM，再到近期流行的Transformer结构，人们对AI专用计算单元的算力需求正在快速提高。另一方面，不同厂家硬件的差别明显，AI计算的架构也在不断演进，如何充分利用好算力是开发者面临的挑战。
　　让芯片上的CPU、GPU和NPU协同参与AI计算，是目前发展的趋势。在语音语义类业务上如果用异构方式运行模型推理，其性能要比单NPU或单CPU运行提升超过40以上，很多业务适合通过异构方法运行，华为技术专家表示。NPU善于处理CNN等经典神经网络，但业界近期获得应用的网络类型变化较快，很多新模型使用CPU加NPU联合计算可以获得更高效率。
　　华为提供的工具可以大幅提升AI算法的运行效率，快手和抖音也因此受益：两家短视频应用在接入HUAWEIHiAIFoundation后模型精度得以提高，通过充分利用算力实现了更加真实的AI特效，增加了业务场景。
　　对于应用开发者们来说，给应用接入异构计算能力并不需要训练专用的算法，也不需要重新构建一个App，只需调用几个接口就可以完成了，如果开发者使用的机器学习平台接入了HUAWEIHiAIFoundation，这个过程甚至可以是无感的，开发者无需进行操作即可获得麒麟芯片AI算力的优化。
　　原生AI加速，每天运行超600亿次
　　为开发者打开新世界大门的HUAWEIHiAIFoundation是麒麟芯片AI计算能力的开放平台，其目标是全面开放NPU能力。它可以自动把开发者手中的AI模型轻量化成移动版，集成到APP上，并获得手机芯片异构算力的原生优化加速。
　　2017年9月，华为发布了首款自带神经网络计算单元NPU的移动芯片麒麟970。2018年3月，HUAWEIHiAIFoundation随之发布。经过几年发展，HUAWEIHiAIFoundation已经从仅支持手机扩展到了全场景硬件，还可以做到一次开发多端运行。计算能力上看，则可以协同NPUCPUGPUDSP实现异构计算，大幅提升了效率。
　　在HUAWEIHiAIFoundation的最新版本上，新增的能力主要有三个方面：提供AI模型性能优化快速升级的端云协同；开放为开发者提供更多可选模型结构的ModelZ还有模型量化工具包，可以快速压缩App中AI模型的体积。
　　经过多代持续打磨，HUAWEIHiAIFoundation的兼容性和易用性已经相当成熟。人们熟知的鸿蒙OS的用户已经超过了1。5亿，是史上发展最快的终端操作系统。而作为麒麟芯片计算能力的开放平台，HUAWEIHiAIFoundation的应用范围也是前所未有，它现在的日调用量高达600亿次。
　　相比TensorFlowLiteGPU、AndroidNN等端侧AI计算生态，HUAWEIHiAIFoundation已经成为了业内最流行的AI架构，而且领先幅度正变得越来越大。
　　每天百亿调用量意味着海量的智慧业务正在端侧应用，充分发挥了麒麟芯片的AI算力，为用户带来了前所未有的体验。随着AI生态的不断演进，技术应用的经验也会为未来的改进打下基础，助力下一代芯片的研发。
　　黑科技：端云协同
　　仅仅方便开发，体验好还不够。与高通、联发科等公司提出的工具相比，华为的优势在于端云协同。
　　深度学习算法由很多计算单元组成，我们称这些计算单元为算子（Operator，简称Op）。从广义上讲，对任何函数进行某一项操作都可以认为是一个算子。在深度学习框架中，算子对应层中的计算逻辑，例如：卷积层（ConvolutionLayer）中的卷积算法，是一个算子；全连接层（FullyconnectedLayer）中的权值求和过程也是一个算子。
　　对于构建AI应用来说，算子提升了效率，然而大多数手机中的算子库集成于系统中，加入新功能要等手机系统几个月一次的更新，这是很多AI新算法难以落地的原因。
　　HUAWEIHiAIFoundation选择把算子库放到云端，当有新开发的算子时，只需要对比一下旧的算子库，把更新算子下载到手机端里就可以让所有手机支持新技术了。这种端云协同的方式既提高了开发者工作效率，又扩大了应用范围，算子更新的频率可以和App更新的速度同步。
　　相比之下，其他厂商发布的深度学习框架，其算子更新速度通常是以年为单位的。
　　作为连接底层硬件算力和应用之间的桥梁，HUAWEIHiAIFoundation目前支持超过300个通用算子，TensorFlow、PyTorch等主流深度学习框架，国内开源深度学习平台，以及很多厂商的自用框架。硬件支持从麒麟810到麒麟9000内置华为自研NPU的所有芯片。
　　从一篇顶会论文到手机上的App，AI新技术的引入是一个复杂的工程化过程，需要保证性能、功能要求，进行多轮优化。由于海思和华为终端联合运作的方式，在HUAWEIHiAIFoundation上芯片厂商与开发者直接进行合作，在一些关键问题上能真正做到效果最优，这是其他竞争对手无法比拟的。
　　把更多AI搬到手机上
　　HUAWEIHiAIFoundation未来的发展方向，是让移动端AI模型更简单、更安全、能效更优，构筑全面开放的智慧生态，让开发者能够快速地利用华为强大的AI处理能力，为用户提供更好的智慧应用体验。
　　机器学习模型在最初的研究阶段可能需要泰坦GPU进行训练，A40进行推理，谷歌能让机器学会阅读理解的BERT模型在刚刚发布时体积达到了500MB但手机App上，自然语言处理模型只有50到100MB的空间，模型必须被大幅压缩。
　　HUAWEIHiAIFoundation推出的NAS模型搜索技术，能让开发者只需要将自己的模型、数据集作为参数提交给工具，随后就能通过自动搜索获得能在端侧运行，效果与原模型效果相当的模型出来。该技术目前主要面向图像识别、分类、检测等任务，在指定任务中可以自动搜索出效率最优的模型，且搜索结果能够实现在NPU上性能、功耗比最优。
　　另一方面，HUAWEIHiAIFoundation提供的端侧算力让很多原先必须部署在云端的算法落在了本地，所有数据形成闭环，业务数据、照片、语音信息等敏感内容不离开用户，保证了数据安全。越来越多的端侧AI，会持续强化这一趋势。
　　未来，各类应用对AI的需求会越来越拥挤，华为还在继续努力，让麒麟芯片带来更大价值。
　　2021年，我国网民人均手机App安装总量是66款，每人每天使用App的时长已超过5。1小时，这是一个前所未有的数字。人工智能技术带来的便利，是手机承担起越来越多任务的原因之一。
　　还记得2017年，华为发布第一款带有NPU的芯片麒麟970的时候，有很多人会问它能做什么？现在，问题已经变成了这件事，麒麟芯片能不能也来做？
　　昨天人们还在开的脑洞，已经被HUAWEIHiAIFoundation一步步实现了。