韩国首尔国立大学和韩国高级科学技术研究院(KAIST)的研究人员最近开发出了一种可以作为电子皮肤的传感器，并将其与深度神经网络集成在一起。这种深度学习增强的电子皮肤系统发表在《自然通讯》(Nature Communications)上的一篇论文中，它可以从远处捕捉到人类的动态运动，比如手指的快速运动。

这套新系统源于机械工程和计算机科学领域的专家们的跨学科合作。领导最近这项研究的两位研究人员是Soul国立大学的机械工程教授Seung Hwan Ko和KAIST的计算机教授Sungho Jo。

几年来，Ko教授一直试图通过使用激光技术在金属纳米粒子薄膜上产生裂纹来开发高灵敏度的应变传感器。然后将产生的传感器阵列应用到一个虚拟现实(VR)手套上，设计用于检测人的手指运动。

"我的实验室通常使用至少5到10个应变传感器来预测精确的手部运动(每个手指至少要有1到2个传感器)，因为随着目标系统复杂度的增加，所需的应变传感器的数量也会增加。"Ko教授说。"几年前，我开始问自己以下问题。我们是否可以只用一个应变传感器而不是用许多传感器来准确预测手部运动?最初，这似乎是个很笨的问题，因为几乎不可能分辨出应变传感器的信号来自哪个手指。"

当Ko教授试图开发一种能够准确预测人的手部动作的单一应变传感器时，Jo教授正在研究将机器学习技术与最先进的传感器进行整合的策略。Jo教授认为，即使这些信号是由单个传感器检测到的，也可以利用机器学习分析人们手指运动产生的连续传感器模式。

"我们意识到，如果我们能够利用机器学习来利用这些模式，就可以清楚地解耦单个传感器观察到的多种不同行为，"Jo教授说。"经过密切的合作，我们能够开发出一种单一的深度学习传感器，可以预测复杂的手部动作。"

当安装在用户的手腕上时，Ko教授、Jo教授和他们的同事们开发的传感器可以检测到用户手部运动产生的电信号，同时还能识别这些信号来自哪个手指。与更多传统的电子皮系统相比，传统的电子皮系统需要每个手指至少有一个传感器才能准确预测一个人的手部动作，而新的深度学习驱动的传感器在单独使用时也能很好地工作。

"传统的电子皮肤至少需要5到10个应变传感器才能准确预测手部动作，随着目标系统复杂度的增加，所需的应变传感器数量也会增加，"Ko教授说。"另一方面，我们开发的深度学习型电子皮肤传感器，只需一个传感器就能完成这项工作。"

研究人员没有简单地用更传统的方法对传感器检测到的信号进行拟合，而是利用深度学习模型来分析信号模式随时间的变化，并最终揭开收集到的数据背后的手指运动。从本质上说，Ko教授、Jo教授和他们的同事证明，当与深度学习技术相结合时，单个传感器可以获得与多个传感器相媲美的结果。

"我们的结果意味着，我们可以用较少的传感器数量来实现复杂的检测，"Jo教授说。"这将极大地简化需要传感器进行复杂检测的系统。我们还预计，新的方法将促进对人体运动的间接远程测量，适用于可穿戴式VR/AR系统。"

在最初的评估中，该研究团队开发的e-skin系统取得了非常好的结果，成功地实时检测和解码复杂的手指运动，同时无论其在用户手腕上的位置如何，都能稳定地运行。在未来，该传感器可能会有很多有趣的应用，包括机器人和可穿戴设备(如健身追踪器)的开发。有趣的是，当放置在用户的骨盆上时，同样的系统还可以解码步态运动(即行走方式)，因此可以用来制造小型高效的运动追踪设备。

"在这项研究中，我们使用机器学习传感器来解码手部运动。"Ko教授说。"不过，在不久的将来，我们计划在这项研究的基础上，实现更复杂的身体运动预测，比如腿部、手臂，甚至可能是整个身体的运动预测。"