详细介绍
4.1.1、产品简介
平台包含Jetson Nano边缘计算主板、六自由度机械臂、宽动态AI视觉摄像头、SLAM激光扫描雷达、17.3英寸边缘计算显示单元、无线传感及控制单元，以及机器视觉场景应用资源包。平台可模拟各项人工智能典型应用场景，实现人工智能应用技术教学实验。系统预装Ubuntu18.04操作系统，所有环境代码库文件均已安装，开机即用。
平台基于多维度学习实践平台，由浅入深循序渐进，从基础单独的GPIO扩展，过渡到传感控制实验项目，再进入ROS系统、机器运动学、AI机器视觉，AI自然语音处理等学习，从而学会各项典型的人工智能技术应用开发方法。配套提供的算法源代码（包括⼈脸检测、⻋牌识别、垃圾分类、⽬标检测等项目），兼容 Caffe/TensorFlow/MXNet训练模型和API，可以让学⽣对机器视觉的流程、处理方式等有更好的了解，熟悉相关算法，了解实际应⽤场景，贴近工程化应用。
4.1.2、产品特点
1）平台出厂预装Ubuntu操作系统与深度学习框架
平台出厂预装Ubuntu操作系统与深度学习框架，集成Python3、机器视觉、自然语言、深度学习、ROS系统等开发环境，能满足人工智能相关的学习与开发。。
2）人工智能算法源代码兼容多个训练模型
所提供的算法源代码（包括人脸检测、车牌识别、垃圾分类、目标检测），兼容Caffe/TensorFlow/MXNet训练模型和API，可以让学生对机器视觉的流程、处理方式等有更好的了解，熟悉相关算法，了解实际应用场景，贴近工程化应用。。
3）系统支持多个工业化的应用场景
工业级智能机械手（支持图形化编程）、机器视觉检测技术，提供专属定制的色块模型、柱体模型、商品模型、一维码/二维码模型等应用场景模型，可模拟色块分拣、形状分类、OCR识别、垃圾分类等工业应用场景。包含智能识别、定位、抓取、分拣等功能，可实现机器视觉检测技术的工业化应用。
4）系统支持人工智能核心课程
包含：①Python编程与应用、②机器视觉编程与应用、③深度学习编程与应用、④SLAM定位与建图应用、⑤工业级智能机械手与ROS机器人操控应用、⑥AIOT智能传感器编程与应用、⑦人工智能综合等课程资源与教学资料，包含教学实验指导书、实验案例源码、开发环境及软件工具等。
4.1.3、主要硬件构成
本平台主要由边缘计算平台、机器视觉摄像头、ROS智能机械臂、SLAM激光雷达、AIOT无线网关、AIOT虚实采集控制模块、端感知控制模组等硬件模块构成，介绍如下：
1）Jetson Nano边缘计算平台
NVIDIA Jetson Nano是一个小巧却功能强大的计算机，它可以让你并行运行多个神经网络、对象检测、分割和语音处理等应用程序,Jetson Nano搭载四核cortex-A57处理器，128核MaxwellGPU及4GB LPDDR内存，带来足够的AI计算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等
2）机器视觉摄像头
双目深度体感摄像头是VR/AR、机器人和无人驾驶最核心的技术支撑之一，而深度摄像头就是这类硬件的眼睛。只有机器对“看到的”东西，定位定姿精度更高时，才能更好地识别和做出判断，从而提升机器的可用性和产品化速度。利用双目立体视觉成像原理实现三维定位，即可进行手势、肢体动作的综合应用。
使用距离：0.8m至 3.5m之间，视野：58° H, 45 V, 70°D(水平，垂直,对角)，传感器：深度，深度影像大小：VGA(640x480) : 30fps，QVGA (320x240): 60fps，接口：USB2.0
3）ROS机器臂
视觉机械臂以Jetson nano为主控，Open Source CV为图像处理库，以主流的Jupyter Lab为开发工具，使用Python3为主要编程语言。通过与机器视觉的联合使用，实现颜色识别追踪与抓取，还能人体特征识别互动，甚至进行垃圾分类模型训练垃圾分拣;通过RO5机器人操控系统，简化了6自由度串行总线舵机复杂运动控制。
4）激光雷达
相较于传统技术，利用红外激光设备可实现超大屏幕的多点触摸，其反应更快、精度更高、抗环境光能力更强。激光雷达作为核心传感器，可快速获得环境轮廓信息，配合SLAMWARE使用，可以帮助机器人实现自主构建地图、实时路径规划与自动避开障碍物。应用领域智能扫地机、家用机器人。
测量半径：12米，测量频率：8000次/秒，扫描频率：5.5HZ，360度扫描测距。
5）无线智能网关
双MCU设计：标配Zigbee无线模块(支持Zigbee、WIFI、蓝牙、Lora等) + Cortex-M3核心；
显示屏：3.5寸TFT触摸显示屏，分辨率480*320，提供良好的人机交互界面。
外围接口：Mini USB接口，JTAG接口可对双MCU核心进行编程调试；
6）虚实结合采集控制端
双MCU设计：无线模块(支持Zigbee、WIFI蓝牙、Lora等)+Cortex-M3核心
3.5寸TFT触摸显示屏，分辨率320*240，提供良好的人机交互界面；
板载功放电路；485、CAN、ADC、IO口、串口接口等。无线模块：单排双列12pin直插接口，支持zigbee,WIFI,蓝牙等无线模块的自由切换；
7）端感知模组
智慧环境感知单元：光照、温湿度、雨雪、风扇、数码管、调色灯
智能安防感知单元：红外对射、烟雾、酒精、蜂鸣器、触摸按键、人体
智能停车感知单元：超声波、电磁锁、继电器、舵机
4.1.4、平台主要功能
（1）计算机视觉基础应用与机械臂的运动控制
视觉定位：放置任意物体在视野中，在图像中将其分割（框出来），并输出中心点坐标；
颜色识别和分选：多种颜色混合放置于视野中，每种颜色各一个，控制手臂挑选出某种颜色，并放置在一侧；
颜色识别和堆叠：多种颜色混合放置于视野中，如两种，每种颜色两个，控制手臂抓取某种颜色并堆叠，或多颜色分别堆叠；
形状识别和分选：多种形状混合放置于视野中，每种形状各个，控制手臂挑选出某种形状，并放置在一侧；
形状识别和堆叠：多种形状混合放置于视野中，如两种，每种形状两个，控制手臂抓取某种形状并堆叠，或将多种形状分别堆叠；
单一形状目标按大小排序：同种形状，放置三种不同尺寸的物体于视野中，控制手臂按照从大到小的顺序依次放置；
多种形状目标同时按形状和大小堆叠：三种形状，每种形状放置三种不同尺寸的物体于视野中，控制手臂按照不同形状、从大到小的顺序分别进行堆叠（即三个堆垛，均为从大到小）；
垃圾分类：在目标上贴上不同物体的图案，如白菜、标识为有毒物品的玻璃瓶、纸箱，混合放置于视野中，通过配置，控制机械臂按照厨余垃圾、有害垃圾、可回收垃圾进行分类；
手势交互：比如伸出1、2、3、4个手指，机械臂分别执行向上、向下、向左、向右运动，伸出5个手指，则画一个圆；
目标跟踪：操作者手持一个小球，机械臂识别该小球（形状或颜色），并随着小球的移动而移动；
OCR光学字符识别与排序：目标上贴上字符，乱序摆放（可要求字符必须朝同一个方向，但顺序是乱的），机械臂通过视觉识别，将其按照123456的顺序摆放到指定位置
（2）计算机视觉与人脸识别、车牌识别等应用
人脸识别：事先录入人脸，对新的人脸进行识别，识别成功弹出人员的信息，识别不到则提示该人员不在系统中；
人脸门禁：识别到人脸后，打开门禁系统，同时绿色指示灯亮起，识别不到，黄色指示灯亮起，提示无该人员信息；
人员入侵预警：同上。同一人脸连续识别超过 3 次，且均显示不在系统中，红灯亮起，同时蜂鸣器报警；
车牌识别：事先录入车牌，对新的车牌进行识别，识别成功弹出车主信息，同时绿色指示灯亮起，识别不到则黄色灯亮起，并提示该车辆不在系统中；
车辆入侵预警：同上。同一车牌连续识别超过 3 次，且均显示不在系统中，红灯亮起，同时蜂鸣器报警；
运动目标识别与跟踪：采用视频实时识别的方式，对视野中的一个或多个人员进行识别，框出来，标记识别到的人员数量，并随着人员的移动进行跟踪；
（3）端感知控制
端感知控制主要依赖于AIOT感控场景应用硬件模块进行，配套对应的Ubantu应用软件，主要包含环境监测、安防感知、智能停车三个应用场景。
环境监测：获取当前的温度、湿度、光照、雨雪等环境信息，或控制调光灯、排风扇状态。
安防感知：随时监测当前的红外、烟雾、酒精、触摸按键、人体感应等安防信息，或控制蜂鸣器的状态。
智能停车：及时获取超声波传感的距离数据，或控制电磁锁、继电器、停车杆、数码管的状态信息。
4.1.5、配套课程教学资源
1、《Python基础》实验目录
《Python基础》实验手册目录
1 Python概述、发展与特点
2 开发环境搭建和使用（平台介绍、平台开机、实验操作）
3 Python语法
4 Python缩进
5 Python注释
6 Python变量
7 Python引入外援
8 Python基础数据类型-整型（int）
9 Python基础数据类型-浮点型（float）
10 Python基础数据类型-布尔类型（bool）
11 Python基础数据类型-字符串（String）
12 Python基础数据类型-类型转换
13 Python常用操作符-算术操作符
14 Python常用操作符-比较操作符
15 Python常用操作符-逻辑操作符
16 Python常用操作符-位操作符
17 Python分支与循环
18 Python条件表达式与断言
19 Python程序控制-While循环语句
20 Python程序控制-for循环语句
21 Python程序控制-break语句
22 Python程序控制-continue语句
23 Python高级数据类型-列表（List）
24 Python高级数据类型-元组（Tuple）
25 Python高级数据类型-字符串（String）
26 Python高级数据类型-序列（Sequence）
27 Python高级数据类型-字典（Dictionary）
28 Python高级数据类型-集合（Set）
29 Python函数-创建与调用
30 Python函数-参数与返回值
31 Python函数-变量
32 Python函数-函数式编程
33 Python函数-递归
34 Python存储-文件操作
35 Python存储-文件系统（OS）
36 Python异常处理-except语句
37 Python异常处理-finally语句
38 Python异常处理-raise语句
39 Python类和对象-对象、self、__init__
40 Python类和对象-继承
41 Python类和对象-组合
42 Python类和对象-构造与析构
43 Python模块-创建和使用
44 Python模块-导入模块
45 Python模块-包
平台包含Jetson Nano边缘计算主板、六自由度机械臂、宽动态AI视觉摄像头、SLAM激光扫描雷达、17.3英寸边缘计算显示单元、无线传感及控制单元，以及机器视觉场景应用资源包。平台可模拟各项人工智能典型应用场景，实现人工智能应用技术教学实验。系统预装Ubuntu18.04操作系统，所有环境代码库文件均已安装，开机即用。
平台基于多维度学习实践平台，由浅入深循序渐进，从基础单独的GPIO扩展，过渡到传感控制实验项目，再进入ROS系统、机器运动学、AI机器视觉，AI自然语音处理等学习，从而学会各项典型的人工智能技术应用开发方法。配套提供的算法源代码（包括⼈脸检测、⻋牌识别、垃圾分类、⽬标检测等项目），兼容 Caffe/TensorFlow/MXNet训练模型和API，可以让学⽣对机器视觉的流程、处理方式等有更好的了解，熟悉相关算法，了解实际应⽤场景，贴近工程化应用。
4.1.2、产品特点
1）平台出厂预装Ubuntu操作系统与深度学习框架
平台出厂预装Ubuntu操作系统与深度学习框架，集成Python3、机器视觉、自然语言、深度学习、ROS系统等开发环境，能满足人工智能相关的学习与开发。。
2）人工智能算法源代码兼容多个训练模型
所提供的算法源代码（包括人脸检测、车牌识别、垃圾分类、目标检测），兼容Caffe/TensorFlow/MXNet训练模型和API，可以让学生对机器视觉的流程、处理方式等有更好的了解，熟悉相关算法，了解实际应用场景，贴近工程化应用。。
3）系统支持多个工业化的应用场景
工业级智能机械手（支持图形化编程）、机器视觉检测技术，提供专属定制的色块模型、柱体模型、商品模型、一维码/二维码模型等应用场景模型，可模拟色块分拣、形状分类、OCR识别、垃圾分类等工业应用场景。包含智能识别、定位、抓取、分拣等功能，可实现机器视觉检测技术的工业化应用。
4）系统支持人工智能核心课程
包含：①Python编程与应用、②机器视觉编程与应用、③深度学习编程与应用、④SLAM定位与建图应用、⑤工业级智能机械手与ROS机器人操控应用、⑥AIOT智能传感器编程与应用、⑦人工智能综合等课程资源与教学资料，包含教学实验指导书、实验案例源码、开发环境及软件工具等。
4.1.3、主要硬件构成
本平台主要由边缘计算平台、机器视觉摄像头、ROS智能机械臂、SLAM激光雷达、AIOT无线网关、AIOT虚实采集控制模块、端感知控制模组等硬件模块构成，介绍如下：
1）Jetson Nano边缘计算平台
NVIDIA Jetson Nano是一个小巧却功能强大的计算机，它可以让你并行运行多个神经网络、对象检测、分割和语音处理等应用程序,Jetson Nano搭载四核cortex-A57处理器，128核MaxwellGPU及4GB LPDDR内存，带来足够的AI计算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等
2）机器视觉摄像头
双目深度体感摄像头是VR/AR、机器人和无人驾驶最核心的技术支撑之一，而深度摄像头就是这类硬件的眼睛。只有机器对“看到的”东西，定位定姿精度更高时，才能更好地识别和做出判断，从而提升机器的可用性和产品化速度。利用双目立体视觉成像原理实现三维定位，即可进行手势、肢体动作的综合应用。
使用距离：0.8m至 3.5m之间，视野：58° H, 45 V, 70°D(水平，垂直,对角)，传感器：深度，深度影像大小：VGA(640x480) : 30fps，QVGA (320x240): 60fps，接口：USB2.0
3）ROS机器臂
视觉机械臂以Jetson nano为主控，Open Source CV为图像处理库，以主流的Jupyter Lab为开发工具，使用Python3为主要编程语言。通过与机器视觉的联合使用，实现颜色识别追踪与抓取，还能人体特征识别互动，甚至进行垃圾分类模型训练垃圾分拣;通过RO5机器人操控系统，简化了6自由度串行总线舵机复杂运动控制。
4）激光雷达
相较于传统技术，利用红外激光设备可实现超大屏幕的多点触摸，其反应更快、精度更高、抗环境光能力更强。激光雷达作为核心传感器，可快速获得环境轮廓信息，配合SLAMWARE使用，可以帮助机器人实现自主构建地图、实时路径规划与自动避开障碍物。应用领域智能扫地机、家用机器人。
测量半径：12米，测量频率：8000次/秒，扫描频率：5.5HZ，360度扫描测距。
5）无线智能网关
双MCU设计：标配Zigbee无线模块(支持Zigbee、WIFI、蓝牙、Lora等) + Cortex-M3核心；
显示屏：3.5寸TFT触摸显示屏，分辨率480*320，提供良好的人机交互界面。
外围接口：Mini USB接口，JTAG接口可对双MCU核心进行编程调试；
6）虚实结合采集控制端
双MCU设计：无线模块(支持Zigbee、WIFI蓝牙、Lora等)+Cortex-M3核心
3.5寸TFT触摸显示屏，分辨率320*240，提供良好的人机交互界面；
板载功放电路；485、CAN、ADC、IO口、串口接口等。无线模块：单排双列12pin直插接口，支持zigbee,WIFI,蓝牙等无线模块的自由切换；
7）端感知模组
智慧环境感知单元：光照、温湿度、雨雪、风扇、数码管、调色灯
智能安防感知单元：红外对射、烟雾、酒精、蜂鸣器、触摸按键、人体
智能停车感知单元：超声波、电磁锁、继电器、舵机
4.1.4、平台主要功能
（1）计算机视觉基础应用与机械臂的运动控制
视觉定位：放置任意物体在视野中，在图像中将其分割（框出来），并输出中心点坐标；
颜色识别和分选：多种颜色混合放置于视野中，每种颜色各一个，控制手臂挑选出某种颜色，并放置在一侧；
颜色识别和堆叠：多种颜色混合放置于视野中，如两种，每种颜色两个，控制手臂抓取某种颜色并堆叠，或多颜色分别堆叠；
形状识别和分选：多种形状混合放置于视野中，每种形状各个，控制手臂挑选出某种形状，并放置在一侧；
形状识别和堆叠：多种形状混合放置于视野中，如两种，每种形状两个，控制手臂抓取某种形状并堆叠，或将多种形状分别堆叠；
单一形状目标按大小排序：同种形状，放置三种不同尺寸的物体于视野中，控制手臂按照从大到小的顺序依次放置；
多种形状目标同时按形状和大小堆叠：三种形状，每种形状放置三种不同尺寸的物体于视野中，控制手臂按照不同形状、从大到小的顺序分别进行堆叠（即三个堆垛，均为从大到小）；
垃圾分类：在目标上贴上不同物体的图案，如白菜、标识为有毒物品的玻璃瓶、纸箱，混合放置于视野中，通过配置，控制机械臂按照厨余垃圾、有害垃圾、可回收垃圾进行分类；
手势交互：比如伸出1、2、3、4个手指，机械臂分别执行向上、向下、向左、向右运动，伸出5个手指，则画一个圆；
目标跟踪：操作者手持一个小球，机械臂识别该小球（形状或颜色），并随着小球的移动而移动；
OCR光学字符识别与排序：目标上贴上字符，乱序摆放（可要求字符必须朝同一个方向，但顺序是乱的），机械臂通过视觉识别，将其按照123456的顺序摆放到指定位置
（2）计算机视觉与人脸识别、车牌识别等应用
人脸识别：事先录入人脸，对新的人脸进行识别，识别成功弹出人员的信息，识别不到则提示该人员不在系统中；
人脸门禁：识别到人脸后，打开门禁系统，同时绿色指示灯亮起，识别不到，黄色指示灯亮起，提示无该人员信息；
人员入侵预警：同上。同一人脸连续识别超过 3 次，且均显示不在系统中，红灯亮起，同时蜂鸣器报警；
车牌识别：事先录入车牌，对新的车牌进行识别，识别成功弹出车主信息，同时绿色指示灯亮起，识别不到则黄色灯亮起，并提示该车辆不在系统中；
车辆入侵预警：同上。同一车牌连续识别超过 3 次，且均显示不在系统中，红灯亮起，同时蜂鸣器报警；
运动目标识别与跟踪：采用视频实时识别的方式，对视野中的一个或多个人员进行识别，框出来，标记识别到的人员数量，并随着人员的移动进行跟踪；
（3）端感知控制
端感知控制主要依赖于AIOT感控场景应用硬件模块进行，配套对应的Ubantu应用软件，主要包含环境监测、安防感知、智能停车三个应用场景。
环境监测：获取当前的温度、湿度、光照、雨雪等环境信息，或控制调光灯、排风扇状态。
安防感知：随时监测当前的红外、烟雾、酒精、触摸按键、人体感应等安防信息，或控制蜂鸣器的状态。
智能停车：及时获取超声波传感的距离数据，或控制电磁锁、继电器、停车杆、数码管的状态信息。
4.1.5、配套课程教学资源
1、《Python基础》实验目录
《Python基础》实验手册目录
1 Python概述、发展与特点
2 开发环境搭建和使用（平台介绍、平台开机、实验操作）
3 Python语法
4 Python缩进
5 Python注释
6 Python变量
7 Python引入外援
8 Python基础数据类型-整型（int）
9 Python基础数据类型-浮点型（float）
10 Python基础数据类型-布尔类型（bool）
11 Python基础数据类型-字符串（String）
12 Python基础数据类型-类型转换
13 Python常用操作符-算术操作符
14 Python常用操作符-比较操作符
15 Python常用操作符-逻辑操作符
16 Python常用操作符-位操作符
17 Python分支与循环
18 Python条件表达式与断言
19 Python程序控制-While循环语句
20 Python程序控制-for循环语句
21 Python程序控制-break语句
22 Python程序控制-continue语句
23 Python高级数据类型-列表（List）
24 Python高级数据类型-元组（Tuple）
25 Python高级数据类型-字符串（String）
26 Python高级数据类型-序列（Sequence）
27 Python高级数据类型-字典（Dictionary）
28 Python高级数据类型-集合（Set）
29 Python函数-创建与调用
30 Python函数-参数与返回值
31 Python函数-变量
32 Python函数-函数式编程
33 Python函数-递归
34 Python存储-文件操作
35 Python存储-文件系统（OS）
36 Python异常处理-except语句
37 Python异常处理-finally语句
38 Python异常处理-raise语句
39 Python类和对象-对象、self、__init__
40 Python类和对象-继承
41 Python类和对象-组合
42 Python类和对象-构造与析构
43 Python模块-创建和使用
44 Python模块-导入模块
45 Python模块-包
客户留言
相关产品