on-DeviceAIusingGoogleCoral EricZhang 关于TensorFlow 模型算法 云端/服务器端移动端Web端 智能设备和物联网是未来最大潜力增长点 全球活跃的连接设备数量（十亿） 159% 14.4% 来源：IoTAnalyticsStateof2018 AIoT典型应用场景及特点 •AIoT：AI+IoT，即在物联网设备中加入人工智能元素，使物联网设备更智能，从而解决实际问题。
•传统IoT应用，主要集中在传感器的数据采集，仅做初步分析或不做分析将数据传送至云端，设备ROI较低。
•AIoT增强端侧处理能力：本地处理数据缩短系统反应时间。
节省海量数据传输及带宽耗用。
提高隐私性和安全性 AIoT典型应用场景及特点 垃圾分拣机器人 人工智能将是推动高速增长的关键 •伴随AI/ML研究的持续发展 ü模型设计方面：主流算法轻量化趋势明显 计算量及权重大小减少了几十倍 ü模型压缩方面：权重量化、剪枝、共享、哈夫曼编码 低秩分解、迁移/压缩卷积滤波器知识蒸馏 •更多的AI能力在智能设备上应用带来了无限机会 •随着边缘计算的发展，更多的AI能力从“云”上迁移到设备中 软：更适合终端设备的算法模型（更小，更快，更强）硬：可在终端上做机器学习推理的硬件解决方案 关于TensorFlow 设 Coral 备 IoT GoogleCoral介绍 一个用于开发智能设备的机器学习应用平台 硬件组件为终端带来了高性能的机器学习加速。
软件工具通过TFLite帮助你开发基于机器学习模型和应用利用成熟模型来快速设计实现原型并得到验证 Coral命名由来 Coral的灵感和使命 为人工智能应用的创新提供一个充满活力和高度协作的平台 设备端机器学习的优势 高性能：本地机器学习推理加速更好的隐私保护：如有所需数据能够留存在设备端设备上的应用可以访问本地数据：所有感知数据在设备端具有访问权限。
离线工作：可在无网环境工作或无需访问互联网的云服务。
节能：无需传输大规模数据到云上。
不需要WIFI等耗能设备 Coral产品套件 硬件&组件 板子 系统周边配件 感知 音频视频环境感知运动感知 可以做机器学习推理能力的独立计算系统或在现有系统上扩展机器学习处理功能 丰富的周边感知组件能让开发者为模型抓取收集各种输入数据 软件&内容 工具 编译器机器学习模型SDKOS 文档 数据集SDK参考在线手册样例 提供了平台开发所需的平台级工具包 丰富的文档和示例让开发者了解如何使用产品和开发应用 Coral硬件产品（当前可提供） 原型 生产 GoogleEdgeTPU Coral板采用GoogleEdgeTPU，一种专门用于在终端上进行机器学习推理的ASIC芯片 8/16位整形运算|2瓦特耗能|针对TFLite模型的优化 EdgeTPU性能 EdgeTPU处理器的处理性能可达4万亿OPS 性能对比（模型在终端上的推理）： EdgeTPU实际应用 真实场景的示例，来自美国开发者的测试后评价 GoogleEdgeTPU与NVIDIAJetsonNano VS MobileNetV2 配置i7-4870HQi7-7700K+GTX10802560CUDAi7-7700K(tflite)i7-7700K+Coral(tflite)JetsonNano128CUDAJetsonNano(tflite)RPiRPi(tflite)RPi+Coral(tflite)JetsonNano+Coral(tflite) Time（s）22,600,827,710,7120,5223,02120,8159,053,311,12 fps11,06304,8832,43352,1112,1810,862,074,2375,53223,21 CoralDevBoard开发板 Coral开发板 原型开发板，支持TFLite模型在上面直接做机器学习推理的功能。
微型计算机：开发板上有CPU，GPU，内存及扩展SD存储，Linux系统且能够提供微型计算机的一切功能。
SoM（Systemonmodule）:采用的是SoM模块设计，将CoralEdgeTPU用于兼容板上。
IO：底板为通用应用的需要提供了多样IO接口。
Coral开发板设计布局 Coral开发板技术规格 •EdgeTPU模块（SOM） CPU:Quad-coreCortex-A53，plusCortex-M4FGPU:C7000LGPUTPU:GoogleEdge机器学习加速处理器安全：加密处理器RAM内存：1GBLPDDR4闪存：8GBeMMcWiFi:Wi-Fi2x2MIMO(802.11b/g/ac2.4/5GHz),Bluetooth •USB接口 USBType-C电源：5VDCUSB3.0Type-COTG口USB3.0Type-A口USB2.0Micro-Bserialconsoleport Coral开发板技术规格 •音频接口 3.5mm音频插孔数字PDM麦克风2.54mm4针端子用于立体声扬声器 •视频接口 HDMI2.0a(全尺寸)MIPI-DSI-39针FFC连接器（ForDisplay）MIPI-DSI2-24针FFC连接器（ForCamera） •MicroSD卡槽•LAN：千兆以太网网卡•GPIO（40针扩展接口）•支持的OS：DebianLinux•支持的机器学习模型：Inception、MobileNet… GPIO接口 40针GPIO扩展口为外部设备接口而设计（兼容树莓派），可以扩展对接LED，开关，控制器，感知器等 Coral开发板的使用方式 •将开发板作为一个单板计算机来使用，直接接上IO外设来做原型开发。
•部署AI应用和只用SoM板来扩展到生产中，绑定相应的软件和定制化的硬件。
原型及App开发 扩展到生产和将SoM嵌入到产品中 CoralUSB加速棒 Coral加速棒的优势 •将设备机器学习能力赋能到很多机器上： 使用USB加速棒，让开发者很容易在Linux系统上获得EdgeTPU特性功能 •与很多主流硬件平台兼容： LinuxPC，笔记本，树莓派和工业系统 Coral产品套件 硬件&组件 板子 系统周边配件 感知 音频视频环境感知运动感知 可以做机器学习推理能力的独立计算系统或在现有系统上扩展机器学习处理功能 丰富的周边感知组件能让开发者为模型抓取收集各种输入数据 软件&内容 工具 编译器机器学习模型SDKOS 文档 数据集SDK参考在线手册样例 提供了平台开发所需的平台级工具和公用程序 丰富的文档和示例让开发者了解如何使用产品和开发应用 Coral软件组件 Coral为开发者开发机器学习应用提供了全栈的软件架构组件 MendelOS 一个DebianLinux系统的分支 编译器 将TFLite机器学习模型转成可在Coral产品上可运行的模型文件 PythonSDK 为开发者提供了高级API函数实现对底层的来访问 EdgeTPUAPIs CoralPythonAPIs 为开发者提供了易于上手的高级API模块，通过TFLite来实现模型推理的程序开发工作。
#Inference&DetectObject objs=engine.DetectWithInputTensor(img,threshold=args.threshold,_k=_k) EdgeTPU已提供模型 Coral上已有一些训练好的机器学习模型提供大家使用 预编译好的TFLite模型（.tflite文件）已在Coral设备上运行成功的模型，只需下载并部署到硬件上即可。
Python模块已经预装在开发板设备上，但USB加速棒的话需要自己安装。
这些开放出来的模型用于非商业用途。
开放出来的模型：ImageClassification、ObjectDetection和Weight-imprintingmodel（迁移学习） Coral模型举例 利用迁移学习来再训练模型 用迁移学习来训练模型可以节省时间和精力。
在预训练的模型上，通过调整神经网络的层结构和用自己的数据训练来创建自己的模型，并且大大减少训练成本。
如何使用Coral机器学习模型 将所提供的Coral模型编译成属于自己的模型 方法1：简单容易使用预编译的TFLite模型 预训练模型 将模型上传至开发板 方法2：用自己的数据提高准确度 用迁移学习定制模型 预训练模型+自己的数据 方法3：自己做模型进行编译 用CloudTF编译器来创建自己的模型 自己的模型 EdgeTPU编译器 将模型上传至开发板
1.GCP上EdgeTPU编译器
2.本地编译器（2019.5.29发布） CoralDevBoard 创建定制化Coral模型的工作流 将所提供的Coral模型编译成属于自己的模型 TensorFlow模型 32浮点型 训练 类型转化 整型化 TensorFlow模型 8位整型 导出 转换（使用TFLite
Converter） TensorFlowLite模型 .tflite文件 编译 CoralEdgeTPU模型 .tflite文件 部署 TF模型图 .pb文件 Coral硬件 利用Coral的潜在产品和领域 目前或未来领域使用的机器学习模型：Objectdetection、Objectclassification、Audioprocessing 更多的产品信息和文档 Coral网址: 更多资源 LiveDemo Talkischeap,ShowmetheDemo 总结 了解了Coral产品全家桶学习了TFLite模型使用Coral开发板和预编译模型来快速进行验证通过迁移学习来重构模型通过再训练模型来构建定制化模型样例演示 THANKS EricZhang Proprietary+Confidential