苹果高通Google都押注的未来芯片，到底是什么？硬哲学

　　在体验Pixel6Pro的这段时间里，除了拍照，我很少有感觉到这台被Google称作最聪明的Pixel手机有什么过机之处，直到一个早上，手机闹钟把我吵醒。
　　和普通手机滑动关闭闹钟的操作不同，Pixel6Pro提示我可以说Snooze（再歇一会）或者Stop（停止）来控制闹钟，而当我小心翼翼地说出Stop后，闹个不停的手机果然立刻安静了下来。
　　这是个微不足道的小功能，却让我每个被闹钟吵醒的早晨都能保持一个好心情。
　　我终于再也不用强撑睡意胡乱找手机，只需要一句话就能让催命般的手机识趣闭嘴，这是我第一次感觉手机能够理解我。
　　听懂人话的秘密，就藏在不起眼的TPU之中。无处不在的AI计算
　　同在手机的SoC上，NPU的存在感和CPU、GPU比起来总要弱上一大截。
　　这个专注于神经网络运算的处理器甚至没有一个统一的名字：在麒麟芯片上叫NPU，在A系列仿生芯片上叫神经计算引擎（NeuralEngine）；Google将其命名为TPU，联发科又认为用于AI计算的它应该叫APU
　　尽管这些芯片的名字五花八门，架构和原理也不尽相同，但它们的目的大抵相似加速机器学习，提高手机的人工智能计算能力。
　　如果你有关注手机处理器的性能，你会发现无论是iPhone的A系列芯片还是Android旗舰级的骁龙芯片，在近两年内CPU的算力提升都十分有限，性能挤牙膏的现象越来越严重。
　　与之相比，AI算力成了更多厂商愿意提及的参数指标。以A系列芯片为例，苹果的A14仿生芯片比上一代有了近乎翻倍的峰值算力提升，每秒可执行运算11万亿次。
　　一年后的A15仿生芯片在此基础上依然能带来超过40的大幅提升，每秒可执行运算高达15。8万亿次。
　　Android阵营的AI算力进步也非常可观，在苏黎世理工大学推出的AI性能测试榜上，首次引入NPU的麒麟970AI性能跑分为23600分，四年后GoogleTensor芯片以214700的高分登顶，而麒麟9000、骁龙888的成绩也都达到了160000分左右。
　　既然AI算力近乎指数增长，为什么我们很难感觉到有什么变化？AI功能这个听起来略显高深的词是不是离我们太远了？
　　图片来自：Gadgetmatch
　　事实上，你每一次解锁手机、唤醒语音助手、甚至随手按下快门，都是一次与AI计算的亲密接触。
　　而NPU就像一个黑匣子，它让AI的计算过程快得几乎不存在，让你察觉不到科技，却又被更自然的人机交互包围。Google语音助理的进化是一个很好的例子。
　　自2014年Siri加入Hey，Siri的语音唤醒功能后，唤醒词几乎和语音助手绑定，每次与语音助手对话，我们都要不厌其烦地叫唤它们的名字：Siri、小爱同学、小布、小艺如果语音环境很嘈杂，这个尴尬的过程可能还要重复好多次。
　　识别唤醒词的声纹图片来自：Apple
　　这是因为，出于功耗考虑，手机处理器不能浪费算力长时间在后台解析用户的每一句话，这时就需要一个低功耗并且只识别唤醒词的语音接收器常驻工作。
　　当收到唤醒词信号时，才调动主处理器聆听用户的下一步指令。
　　不过，虽然这样可以实现低功耗语音唤醒，但这距离科幻电影里AI助手随叫随到的理想形态还有点距离，这就像钢铁侠在战斗前还要说一句嘿，贾维斯一样，人机交互有点别扭。
　　Google在Pixel6系列上推出的快捷指令功能让这种存在于科幻电影的自然交互照进了现实。
　　正如文章开头提到那样，通过快捷指令用户不用再喊OKGoogle等的唤醒词，也能唤醒Google助理执行关闭闹钟、接听电话等指定任务。
　　Google提出的VoiceFilter算法图片来自：Google
　　要在嘈杂的声音环境下定向分离人声，手机就需要有更高精度的声纹识别能力，利用更加复杂的卷积神经网络算法准确捕捉并识别用户的口令。
　　而Google专为AI计算设计的TPU芯片正好满足了这种AI算力需求，这种自然的语音交互最终在Pixel6系列上得以实现。
　　基于神经处理单元的NPU在图像、语音识别和处理方面比传统CPU效率要高得多，手机厂商由此可以开发出诸多如计算摄影、文字识别等功能，丰富系统的软件功能。
　　在苹果最新的iOS15上，不少新特性就是基于神经计算引擎而设计的，例如FaceTime加入的空间音频和人像模式、实时的文本提取和翻译、相册直接搜索照片中的文字、Siri离线运行等。
　　由于这些功能对AI算力有一定的要求，苹果还强调如果SoC芯片不是A12仿生往后的型号，那么即便升级到iOS15这些功能都不能体验。
　　当智能手机的功能趋同化，所谓的智能发微信、放音乐、拍照、看新闻等等在某种意义上又变回功能。
　　AI功能开始成为了我们日常手机体验重要的一部分，原本被认为无关紧要的NPU成了组成系统软件体验不可或缺的一部分。为什么需要AI计算芯片？
　　和手机的其他零件相比，NPU登场的时间要晚得多。
　　2017年9月华为在柏林IFA展发布的麒麟970是首颗集成NPU的SoC，同一时期，苹果发布了首次搭载神经计算引擎的A11仿生芯片，两个阵营对AI计算领域的关注出奇同步。
　　AI功能的出现看似突兀，但这其实是智能手机形态发展过程中自然演化的结果。
　　《连线》杂志与苹果副总裁TimMillet关于A系列芯片的访谈中提到，在iPhoneX发布的数年前，苹果的一些工程师就提出了利用机器学习算法让iPhone的摄像头变得更智能的想法。
　　正是这个想法，让定义了iPhone未来十年形态的iPhoneX有了落地的可能。转向全面屏的iPhoneX需要一个新的安全机制取代原本占据下巴的TouchID，并且在准确度、解锁速度都不能落后前者，为了实现这些点，苹果转向了3D结构光面容识别。
　　每次点亮iPhone进行解锁，位于刘海中的深感摄像头都会通过成千上万个点创建一个深度图，与储存的人脸数据比对完成解锁，而这个收集、创建、校对的过程需要控制在瞬息之间，更重要的是，功耗必须控制在一个足够低的水平。
　　根据苹果公布的数据，iPhone用户每日平均解锁次数为80次，如果每次解锁都要调动CPU或GPU做高功耗的图形运算，对手机续航而言会是个相当大的挑战。
　　机器学习的过程
　　而多核架构的神经计算引擎可以同时执行大量运算，并且经过深度机器学习，它可以像人脑一样识别和判断人面信息，利用它实现人脸识别在功耗和性能上比传统CPU都有着不小的优势。
　　如果没有神经计算引擎，我们不可能做到这一点，TimMillet在访谈中提到。
　　随着核心数的增多，神经计算引擎算力也会随之大幅提升，其应用也越来越广。
　　例如A13仿生芯片的8核神经计算引擎为iPhone11系列带来了DeepFusion和夜景模式功能，通过多张融合提升照片的清晰度和细节；A14仿生芯片的神经计算引擎提升到了16核，能够在拍摄时同时调用多枚摄像头，实现顺滑的变焦体验。
　　A15仿生芯片和A14仿生芯片的剖析图，神经计算引擎集中在左下角
　　总的来说，神经计算引擎等NPU的出现，可以很好地分担CPU或GPU的算力压力，通过对大数据进行高效的并行分析和计算，提取出有意义的结果，用更自然的处理能力改善我们的体验。AI将再次定义智能手机
　　于苹果担任担任机器学习和人工智能战略高级副总裁的JohnGiannandrea在一次采访时曾经提到，他相信在未来几年内iOS或者苹果软件生态的所有功能都会被机器学习改变。
　　我认为苹果一直代表着创造力和技术的交汇点。当你考虑建立智能体验时，将应用程序、框架、再到芯片给垂直整合起来非常重要我认为这是一个旅程，这是我们拥有的计算设备的未来，它们变得智能，然后这份智能会隐于无形。
　　初代iPhone用触摸屏交互、随时随地连接互联网重新定义了手机，手机自此出现了功能机和智能机的分支。
　　当智能手机的功能趋同化，所谓的智能发微信、放音乐、拍照、看新闻等等在某种意义上又变回功能。
　　图片来自：Gadgetmatch
　　智能手机需要重新被定义，新的智能应该被解读为能够理解人的手机，它能识别你看见的世界，听懂你的每一句指令，根据环境作动态调整，这些都需要AI芯片的深度参与。
　　随着手机硬件供应链日趋透明，中高端手机核心配件的差异性变得越来越小，软件功能得到了越来越多厂商的重视，这就像料理一样，硬件供应链提供了制作一道好菜的基础食材，而想要烹饪出独此一家的味道，优秀的软件体验才是那个关键的调味料。
　　如今我们已经拥有足够清晰屏幕以及能拍摄百米远风景的摄像头，但智能手机的体验并不仅限于常规的显示、拍照。
　　它应该让你同时拍摄多焦段的照片，让你在拍摄时不用因为匆忙调焦而错过风景；应该能够在取景框中就能实时预览夜景或HDR效果，成像时不用再等待；它甚至应该成为一个能够陪伴你旅行的翻译器，即便是网络不佳也能离线完成实时翻译工作。
　　AI是帮我们实现这些功能的不二之选，为了更深度地定制软件功能，像Google、OPPO等更多的手机厂商都开始参与NPU芯片的设计，以追赶苹果、华为等先行者的步伐。
　　与此同时，强大的AI算力也不再是自研芯片玩家的专利，高通骁龙8和天玑9000都将AI算力视为了提升的重点，在AI性能跑分都已超越Google的Tensor，三星最近发布的Exynos2200也着重提升了NPU性能，带来翻倍的提升。
　　芯片巨头在AI性能的集中发力，让移动端AI芯片看起来就像在经历新摩尔定律。
　　除了性能增长的速度，AI芯片的普及速度也非常可观，根据统计机构Counterpoint的统计，2017年内置AI芯片的手机数量仅占市场份额的3，而2020年这个数据已经达到35。
　　在未来还会有更多的手机支持AI加速计算，这意味着利用机器学习开发手机应用会变成新的常态，事实上在抖音、微信等国民级app上，就已经出现了利用机器学习实现背景模糊、一键剪片等AI功能。
　　随着手机厂商和第三方开发的参与，AI应用经过不断深化，智能手机的形态可能也会随之发生变化，成为一个为愉悦体验而生的软硬件共生体。
　　届时，智能手机形态的话语权争夺战，也将从供应链的管理慢慢地向用户大数据的掌控转移。