7月26日消息,谷歌于美国当地时间周三发布了用于边缘计算的新版AI芯片——微型AI加速器Edge TPU,可实现物联网设备上的机器学习模型运算。
两年前,谷歌推出可以轻松完成AI任务的张量处理单元TPU(Tensor Processing Units)。随着连接设备的爆炸性增长,以及对隐私、机密性、低延迟和带宽限制的需求,谷歌正将AI模型从云端转移到终端。Edge TPU作为Cloud TPU处理器的简化版本,将谷歌云的AI功能移植到物联网上,使传感器等设备能更快更便捷地处理数据。
一、把AI带到边缘:Edge TPU
Edge TPU是谷歌专门设计的ASIC芯片,用于在边缘设备上运行TensorFlow Lite ML模型进行推理。它在较小的物理和功耗范围内提供高性能,并在边缘部署高精度AI,能够使用户以高效率的方式在高分辨率视频上以每秒30帧的速度同时执行多帧最先进的AI模型。Cloud IoT产品管理部门负责人Antony Passemard表示,Edge TPU的大小比1美分还要小许多。
目前,在为显示面板生产玻璃的过程中,该检测设备每秒可处理200多张玻璃图像。
▲Edge TPU和Cloud TPU对比
作为Cloud TPU互补的产品,Edge TPU向用户提供端到端和云端到端的硬件+软件AI基础架构,以便于部署基于AI的解决方案。不同于Cloud TPU,它只用于机器学习推理,不用于相关模型训练,因此可以以超低功率的方式进行计算,适合物联网设备采用。Edge TPU使用的软件和服务是Cloud IoT Edge和物联网操作系统Android Things。它可以使用TensorFlow Lite和NN API两种机器学习框架,以及Edge TPU、GPU和CPU三种硬件加速器。凭借其高性能、小尺寸和低功耗的特点,Edge TPU能在边缘设备上实现本地实时进行高质量的AI运算。
这款芯片不仅仅是一个硬件解决方案。它结合了定制硬件、开放软件和最先进的AI算法,为边缘提供高质量、易于部署的AI解决方案。
Edge TPU具有较高的每瓦性能和较小的占地面积,可实现广泛的工业用例,例如预测性维护,异常检测,机器视觉,机器人,语音识别等等。它可以被应用在制造、医疗保健、零售、智能空间、运输等。
二、Edge TPU的配套软件:Cloud IoT Edge
谷歌还推出了Cloud IoT Edge软件平台,可将训练好的机器学习模型移植到边缘计算基础设施的设备上运行。该平台有两个关键组件。
其一是Edge IoT Core。这是Azure IoT Edge设备管理器和协议网关,可将边缘设备安全地连接到云、启用软件和固件更新,以及使用Cloud IoT Core管理数据交换。
其二是Edge ML。它是TensorFlow Lite ML工具的精简版,在本地运行预先训练好的TensorFlow Lite ML模型,可以显著提高边缘设备的处理能力和多功能性。这使得下一波机器学习应用程序和用例成为可能。
此外,该平台还利用了谷歌专用的硬件加速器ASIC芯片Edge TPU TM。
▲Cloud IoT Edge的工作原理
Cloud IoT Edge将谷歌云强大的数据处理和机器学习扩展到数十亿边缘设备,如机器人手臂、风力涡轮机和石油钻井平台等,因此他们可以实时处理来自传感器的数据并在本地预测结果。Cloud IoT Edge可在Android Things或基于Linux的操作系统上运行。
结语:打通Edge TPU的生态
为了实现Edge TPU的快速开发和测试,谷歌为开发者提供了开发套件Edge TPU development kit。该套件包括一个模块化系统(SOM),结合 Edge TPU、NXP CPU、Wi-Fi 和 Microchip 等安全组件。该套件将在今年10月对开发者开放,也可以注册申请提前访问(申请链接:http://t.cn/ReLmOSK)。
此外,谷歌还推出了两款AIY设备,即AIY Edge TPU开发板和AIY Edge TPU加速器。AIY Edge TPU开发板内置Edge TPU、NXP CPU处理器、集成GPU、8GB eMMC闪存、Wi-Fi功能和加密芯片。其长约3-4个10美元硬币,宽约2-3个10元硬币。
AIY Edge TPU加速器是一个带了type-C接口的USB设备,内置Edge TPU处理器,可连接到Linux和Android Things系统,并支持在TensorFlow Lite框架下运行。
这两款AIY设备暂无提前申请渠道,将在今年秋天上市。