进入2018年最后一个季度,手机AI芯片进入一个全新时代。
恰好就在今天,苏黎世联邦理工学院公布了超过10000部安卓手机和芯片的AI Benchmark深度学习处理性能分数。结果不出意料,搭载专用AI处理器的华为麒麟970芯片得到了最高的AI-Score分数——超过6000分,几乎是第二名的三倍。
完整列表:http://ai-benchmark.com/ranking.html
随着手机芯片AI化的两个主流玩家新品的亮相,即华为麒麟980和苹果的A12处理器的推出,已经为手机端AI芯片2019年的竞争格局定下了基调。
AI芯片在智能手机中的应用,已经从在拍照中的物体识别、场景识别(如华为P20 Pro中AI摄影大师),发展到针对视频中人体姿态、动作进行实时AI分析的全新功能(如今年IFA展上,华为基于麒麟980推出的“慧眼2.0”),竞争门槛也进一步拉高。
我们看到,在华为、苹果头部玩家的引领下,AI芯片成为智能手机标配的同时,这一领域的马太效应也越来越明显。与此同时,AI芯片行业也走过了野蛮生长,开启了加速落地模式,全芯片产业链都开始积极拥抱人工智能。
拥有先发优势的玩家们,则更为积极地在AI芯片道路上飞速奔跑。先是8月的最后一天,华为在德国IFA展上率先推出了新一代的AI芯片麒麟980芯片,半个月后,苹果在新款iPhone上搭载了新一代的仿生芯片A12。几天前,华米推出了全球智能可穿戴第一颗AI芯片黄山一号。
在业界最受关注的华为和苹果手上的两颗AI芯片落子后,AI芯片在手机端的应用也将进入到一个全新的普及阶段。在技术和应用落地方面,都产生了极大的突破。
基于智东西过去一年对AI芯片行业持续的跟踪报道和产业链广泛的调研 ,我们发现,以手机芯片为代表的终端AI芯片正呈现五大典型发展趋势。这五大趋势不仅是华为、苹果们的发力点,也将大幅度升级AI芯片加持下的移动终端体验。换句话讲,这一轮围绕这五大趋势的AI芯片行业升级,将很大程度上影响未来智能手机江湖市场格局。
AI芯片气势如虹 智能手机成最大受益者
业内一般认为,AI芯片指的是根据神经网络等AI算法,进行特殊设计的芯片。根据应用场景划分,AI芯片目前可分为用于云端服务器机房等地的云端AI芯片,以及用于端智能、IoT设备的终端AI芯片。
对于手机来说,芯片是其大脑和灵魂,集合着CPU、GPU、DSP、通信模块等实现其他功能的硬件基础,也是智能手机中高低档划分的重要指标。芯片作为底层基础,也决定着智能手机性能的想象空间。
在华为率先在传统的手机SoC中加入独立的AI独立处理单元NPU后,AI独立处理单元的设计也成为了行业的发展趋势。
AI独立处理单元的加入,全面提升了智能手机的用户体验。在拍照、解锁、游戏等智能手机的广泛应用中都会应用到AI处理模块的运算能力,对手机运算速率的提升有极大的影响。
从目前来看,手机是AI芯片最大的获利行业,同时手机端的AI芯片进展也在引领着整个终端AI芯片行业的发展。
终端AI芯片的五大行业趋势
2017年9月2日,华为率先发布了全球首款人工智能移动计算平台麒麟970,创新性地集成人工智能专用NPU神经网络单元,打响了AI芯片落地智能手机的第一枪。
紧接着,10月20日,华为在上海发布了搭载这款AI芯片的年度旗舰手机Mate10,将AI算力全面释放到智能手机中,给手机用户带来了前所未有的AI场景识别、AI翻译等多项创新性体验。
在麒麟970发布后,科技巨头苹果也不约而同的采用了这一策略,在9月13日发布iPhone X,使用了自研的手机芯片A11,其中内置了名为Neural Engine的神经网络处理单元。
进入到2018年,终端AI芯片的战火越燃越旺,芯片产业链上下游的IP授权商、设计商、制造商都联动起来,共同开发终端的AI算力。
上半年,老牌芯片公司ARM推出了机器学习平台Project Trillium以及两款人工智能IP、中端手机芯片巨头联发科发布支持AI和计算机视觉的芯片Helio P60、手机芯片巨头高通推出基于其枭龙芯片系列的人工智能引擎(AI Engine)。
下半年,在终端AI芯片上开山辟路的华为,又带头向前迈出了一大步,推出全球首款7nm工艺、“双核NPU”设计的AI芯片——麒麟980。两周后,苹果也继续跟进推出了7nm工艺的新一代的仿生芯片A12。
手机芯片巨头高通将在今年年底发布新一代旗舰芯片骁龙855,据说骁龙855中也将采用专用的AI模块,目前国内某AI芯片创企已收取NRE费用,为其开发人工智能IP模块。
在新玩家不断涌入,老玩家进一步开山辟路的行业鏖战期,智东西发现,目前终端AI芯片正呈现着以下五大行业趋势:
1、架构升级,多核心多单元配合
以往的手机芯片普遍是以CPU(中央处理器)/GPU(图形处理器)/DSP(数字信号处理)为核心的传统计算架构,但这种架构难以支持AI海量数据计算。玩家们为了在终端上实现AI计算,选择了不同的架构方式。
华为作为业内第一个推出手机AI芯片的玩家,在麒麟970中率先单设了一个专门的AI硬件处理单元NPU。今年的麒麟980则依然延续了NPU的设计,但将原本的单核升级成了双核,在性能上也有了大幅度的提升。
双核NPU的升级主要体现在视频检测、物体细节识别、物体分割三方面上:原先单核NPU进行AI物体实时识别时只能认出轮廓,现在可以识别出画面细节;原先只能实时处理图像,现在则可以做到实时视频检测和处理;原先在实现画面实时物体分割时线条轮廓较为粗放,现在在双核NPU的驱动下则能做到更精细。
CPU方面,麒麟980也从去年麒麟970的4大核+4小核,升级到了2个超大核+2大核+4小核的全新设计,这三种核的分工不同,小核能够支持音乐、短信这类日常使用,大核能够支持社交软件、图片软件这类应用,超大核则是用来处理对性能要求比较高的游戏等应用。
GPU方面,去年的麒麟970用上了ARM推出的Mali-G72 MP12架构——这是Mali-G72 MP12 GPU的首次商用。这个架构很厉害,比上一代的Mali-G71性能提高了40%,能效提高了25%。而在今年的麒麟980,则采用了基于Mali G76打造的GPU,能够做到性能提高46%,能效提升178%。
架构升级,多核多单元的方案也同样在苹果A系列芯片上体现。
与华为类似,苹果在芯片中添加了一个专用于机器学习的硬件——“神经网络引擎(Neural Engine)”。
去年推出的A11处理器中,神经网络引擎采用了双核设计,今年的A12芯片则将神经网络引擎数量提升到了8个。在CPU方面,苹果A12的整体框架没有调整,依然采用2个大核(性能核)+4个小核(能效核)的结构。
为了使得多核间更好的调度和配合,华为还专门打造了一条灵活调度的智能CPU调度方案,能够自动为应用配备适合的CPU核来计算。
无论是双核还是8核,通过核数的调整,大小核的配合,一直是芯片进化的一个很重要的技术方向。
2、工艺制程升级,决胜7nm普及落地
在芯片上,集成电路的精细度,是一个重要的行业指标。目前,半导体芯片主流制程工艺为14nm和10nm。在同样的材料中集成更多的电子元件,连接线越细,精细度就越高,芯片的功耗也就越小。
除制程工艺限制外,由于7nm芯片制造的难度巨大,几乎逼近了硅基芯片的物理极限,需要的研发时间和资金投入都非常高,因此,7nm芯片成为了长时间以来令业界头疼的一个大问题。
不过,今年7nm制程在终端AI芯片上取得了突破性的进展。华为麒麟980是业内推出的首款7nm制程的手机芯片,由台积电代工,比指甲盖还小的硅片上集成了69亿个晶体管。
其实,早在2015年华为就开始投入7nm技术的相关研究,据华为方面表示,麒麟980的研发费用则高达数亿美元,几十亿人民币。
苹果今年推出的A12芯片,也同样采用了7nm的技术工艺,由台积电代工,集成69亿个晶体管。据了解,今年年底将亮相的高通骁龙855也将采用7nm工艺。
与此同时,其他芯片代工或制造厂,在7nm芯片的研发上,则似乎遭遇了瓶颈。
三星半导体的7nm目前还没有确切消息传出,这也导致就连高通今年也将骁龙855的订单交给了台积电而非三星,而英特尔的10nm芯片也处于难产状态。
上个月,全球第二大芯片代工厂格芯宣布,将暂停开发7nm技术。这也导致了随后全球第二大微处理器厂AMD表示,所有7nm产品包含服务器芯片与显卡,都将交由晶圆代工龙头台积电代工。
虽然,7nm制程仿佛一道鸿沟,将芯片玩家分成了两拨。但前面所提到的玩家,尤其是华为,在对7nm工艺落地的不懈追求。因此我们也看到,摩尔定律仍然没有消失,仍然在持续引领人类对芯片制造极限的挑战。
3、系统层为AI开发者铺路架桥
为了将AI芯片的计算能力开放给更多的开发者使用,玩家们一边在布局AI芯片硬件的同时,一边也在进行系统级的AI优化。玩家们也会推出对应的AI模块、框架、API给开发者,便于开发更丰富的应用,通过获得更好的AI性能,最大程度上发挥AI硬件的性能。
在系统优化和面向开发者布局方面,华为有HiAI、苹果有Core ML,而高通则有AI Engine。
华为的HiAI平台(全称HiAI移动计算平台),面向开发者提供人工智能计算库及其API,使开发者更容易编写移动设备上的AI应用。
据了解,随着麒麟980的推出,HiAI平台能够支持147个算子,开放了33个API接口及1000多种能力。
新推出的AI芯片麒麟980支持Caffe、Tensorflow、Tensorflow Lite等主流框架,供了离线编译、在线编译、8bit量化等一系列完整工具链,既可以大大降低端侧模型部署的工程难度,还可以利用NPU差异化优势发挥出最强算力;支持CPU、GPU、NPU、DSP等的异构计算,方便深度学习算法在麒麟980的自动灵活调度执行。
对于普通APP开发者来说,HiAI将会提供已经封装好的语音识别、图像识别等技术,开发者们不需要自己做基础AI研发,可以调用HiAI中封装好的AI技术直接应用,降低了获得AI计算力的门槛。
举个例子,HiAI平台中的人脸检测API可以检测图片中的人脸,返回高精度人脸矩形框坐标,用于各类人脸识别场景,如人脸解锁、人脸聚类、美颜等场景中,并通过对人脸特征及位置的定位,实现对人脸特定位置的美化修饰。
而图片分类API可以识别图片中物体、场景、行为等信息,返回对应标签信息,如:花、鸟、鱼、虫、汽车、建筑等等,可用于图库照片自动分类整理、社交图片识别分享等。
在今年10月份即将召开的华为全连接大会上,华为将会公布HiAI平台的新进展。
在去年WWDC开发者大会上,苹果推出了Core ML机器学习框架,能让开发者更方便地将CNN、DNN、RNN等AI神经网络整合到自己的APP当中,A11也首次支持了Core ML。在A12中,Core ML的应用速度猛增了9倍,并且只需要原先1/10的能耗。
高通方面,今年2月宣布推出人工智能引擎(AI Engine),在高通骁龙核心硬件CPU、GPU、VPS向量处理器的架构上搭载了神经处理引擎(Neural Processing Engine,NPE)、安卓版神经网络的API、Hexagon神经网络库等软件。AI Engine还包括软件开发工具包SKD,可以使开发者和OEM厂商将训练的网络接入到此平台。
由此可见,在有了AI芯片后,想要在更大程度上发挥它的作用,必需要有好的移动计算平台的支持,才能让芯片和系统更好的配合,并发挥最大的作用,这已是行业的共识。从华为HiAI平台所提供的丰富的API接口和能力来看,华为目前在系统层面为开发者调用AI能力铺好了道路。
4、应用AI化升级 拼质量拼生态
“得开发者得天下”,除了手机厂商自家的系统级的AI应用外,好APP也是消费者选择购买智能手机的一大理由。与此同时,应用生态构建的建设也将成为时下竞争的热点。
而为了让第三方的AI应用能够真正运行得好,不仅仅是NPU单一硬件组件的问题,而是系统软硬件调配的过程,对于第三方应用开发者来说是一个难点。
为了配合NPU华为还面向第三方开发者开放HiAI移动计算平台的人工智能计算库HiAI API,便于开发者在移动设备上编写AI应用,而HiAI平台也成为华为构建AI APP生态的核心。
作为华为AI生态布局的核心,HiAI平台可提供3大类的API,CV机器视觉引擎、ASR引擎和NLU(自然语言)引擎,以及和微软合作的IDE计算模型。
在华为手机的应用商店里,设有AI应用专辑,通过将HiAI平台的能力开放给第三方应用开发者,构建起手机终端应用生态。
目前已经有不少第三方应用已经接入了HiAI平台的AI能力,比如微软翻译、快手、抖音、京东、美团、Prisma等,它们有的采用视频处理优化技术、有的采用图像识别挂钩电商技术、有的则采用滤镜美化类技术,图像处理速度最高能达到原来安卓机器性能的10倍。
为了激励开发者,在今年举办的首届华为终端开发者大会上,华为表示将面向开发者全面开发“芯-端-云”能力框架,同时,通过耀星计划、DigiX创新工作室加速终端应用和场景化内容开发,并宣布每年投资10亿元用于扶持开发者生态建设。
可以看到,在应用方面,搭好舞台吸引更多开发者唱好戏、多唱戏是终极目的,这里的搭好舞台其实就是AI应用生态的竞争。苹果在这方面一直很重视,华为则在技术支持、资金扶持发力。
5、体验进化 AI计算实现实时处理
在消费者体验方面,华为也更具创新性和技术实力。用户能从摄影、通话等方面直观地感受到AI芯片加持下的性能提升。
拍照功能是将手机AI芯片能力发挥最淋漓尽致的功能之一,而从最近几款旗舰手机的表现看,一个共同趋势越来越明显,即很多实时处理结果前移,也就是很多AI处理结果变得所见即所得了。典型案例就是目前手机厂商主打的AI场景识别外,以及对图像深度信息和细节的智能补充。
今年4月,华为推出业内首款搭载三个摄像头的P20 Pro,并在P20 Pro上搭载AI摄影大师(Master AI)功能。也正式凭借着这一功能,华为P20 Pro凭借109分的成绩登顶了DxOMark手机拍照性能榜单。
AI摄影大师(Master AI)通过在算法架构维度上设计了一个推荐引擎来实时获取取景画面的信息,可以根据场景识别、人脸检测的结果,按照预定义的规则执行推荐,上报到用户操作界面。
同时,AI摄影大师(Master AI)还将记录当前使用者的操作行为并反馈给推荐引擎。通过不断学习用户的使用习惯,逐渐达到能够向该用户推荐对其量身定制的、令其满意的拍照模式的目的。
目前,通过图像理解、语义分割算法以及模型训练结果,AI摄影大师可以智能识别/区分19个类别,500+个场景。
在手机最核心的通信功能方面,以通讯设备厂商起家的华为有着20多年的实战经验,现在更是做到了全球数一数二的通讯巨头,在信息传输、通话、5G等方面都有着深厚的积累。尤其在高铁通话方面,华为深入到芯片层面,利用“提前识别切换区域”方法,让信号在飞驰的列车上仍可以顺畅衔接。最明显的感触就是,在高铁上用华为手机打电话“不掉话”。
此外,苹果在刚刚推出的iPhone Xs和iPhone Xs Max上搭载的“智能HDR”和“景深控制功能”(Bokeh),也是实时处理前移的典型案例。
华为率先试水AI,成安卓阵营首发
智能手机是AI芯片落地应用的最重要场景,集合着CPU、GPU、DSP、通信模块等功能实现的手机芯片,也是智能手机中高低档划分的重要指标,决定着智能手机性能的想象空间。
目前,手机厂商在AI芯片上的布局处于不同阶段。在全球前五的手机厂商中,排名前三的三星、华为、苹果都具有自主研发手机芯片的实力。
在安卓阵营中,华为率先开始试水AI,从AI芯片、语音助手、原生AI应用,到数据同步、手机安全等基于云的各种服务,再到面向第三方应用开发者的HiAI平台,正在形成一套贯穿终端、芯片、云、生态的整合AI打法。
除了自力更生的华为外,安卓阵营里的OPPO、vivo和小米等众多智能手机厂商在芯片方面的故事则较为单薄,因此,在AI芯片上需要借助芯片巨头高通的实力,来解决计算力需求。高通在去年推出的骁龙845时,也推出了AI Engine的说法,利用CPU、GPU以及DSP等模块的配合进行AI计算优化。
同时,位于产业链上游的Arm也有所动作,日前,在上海举行人工智能大会,Arm不仅推出了全套嵌入式AI开发套件EAIDK。而据业内人士透露,Arm自家的AI芯片计划同时也在快速推进当中。
终端AI芯片的广阔天地
AI能力下放到终端是2018年的重要行业趋势趋势,除手机这一出货量最大的终端产品外,其他的终端AI芯片也非常火爆,比如安防、自动驾驶、智能家居、可穿戴等。
在安防领域,深思创芯、中星微电子、云天励飞、耐能等纷纷推出内嵌于安防监控摄像头的AI芯片;在自动驾驶领域,由英伟达、英特尔这样的芯片巨头,和地平线等创业公司整合成为自动驾驶计算平台。
智能家居领域,则主要围绕语音AI展开,典型产品包括亚马逊打造Echo智能音箱AI芯片、启英泰伦打造的家用电器语音AI芯片、杭州国芯打造语音AI芯片等。今年3月,英伟达也宣布将自己的AI芯片Xavier集成到Arm的AI项目Project Trillium里面,让IoT芯片厂商容易地打造AI芯片。
从终端AI芯片应用场景的多元性可以看到,AI正在以芯片为基础,在带来更多新应用的同时,正在促生着一场终端设备革命的到来,加速着硬件市场产业的发展。
结语:手机AI芯片进入普及爆发期
2017年可以说是AI芯片的概念普及和创业热情爆发期,其中华为率先开创了手机AI芯片的先河,华为也携手科技巨头苹果在2017年为智能手机行业奠定了AI算力下放到终端的行业基调,全面点燃了手机终端AI芯片研发的热情。
进入2018年,整个智能手机AI芯片产业链都被联动起来,三星、高通、联发科等都在涌入激烈的市场竞争中。与此同时,华为和苹果两家则凭借敏锐的行业前瞻性和先发优势,继续在行业前端奔跑,引领行业发展的新趋势。
随着华为麒麟980和苹果A12芯片的相继推出,未来一段时间的手机AI芯片的行业趋势也已经显现:7nm制程工艺、多核多单元的架构设计、系统升级和开发者升级、应用升级、实时处理的前移,这五大行业趋势将引领着手机AI芯片行业的爆发。