使用研扬科技解决方案和Intel®的OpenVINO™工具包发行版部署人工智能边缘计算

简介

随着越来越多的行业和公司转向人工智能和边缘计算，以引入智能应用来管理和运营其业务，提供人工智能平台的供应商和解决方案领域也在随之不断增加。但是，对于开发人员或寻求设计和部署自有解决方案的客户来说，有很多事情需要考虑。大多数硬件平台在共享许多开源资源的同时，仍然依赖于自己专有的加速和优化软件。无论刚接触该领域的开发商，还是希望将其模型迁移到更高效硬件平台的开发商，选择具有最佳软件和工具包支持的解决方案都与挑选硬件本身同等重要。

通过提供一系列与Intel®的OpenVINO™工具包发行版兼容的解决方案，研扬科技帮助客户简化这一步骤。这些平台具备创新的OpenVINO工具包，无论是初次进入市场的新开发商，还是从其他硬件环境中迁移模型的开发商，都可比以往更轻松地将模型部署到边缘。

为了帮助您理解使用OpenVINO工具包的优势，本文将研究领先的嵌入式边缘人工智能开发商ComBox和LARGA的案例研究。两家公司密切合作，部署了采用研扬科技VPC-3350S和AI Core X的公共巴士乘客计数系统，并利用OpenVINO工具包来帮助优化和快速部署其软件模型。

通过本案例研究可以发现，两家合作公司研究了三个关键点：数据中心与边缘部署；基于英特尔的解决方案与其他竞争平台；以及OpenVINO的优势和功能。

第1部分：数据中心与边缘人工智能

部署智能网络的首要考虑因素之一是是使用数据中心托管的云端系统，还是使用边缘平台。ComBox和LARGA考察了每个平台的优势，以确定部署其乘客计数应用的最佳方法。

如表中所示，即使按成本计算，数据中心所提供的纯性能也要优于单个边缘系统。但是，边缘系统可以解决一些关键问题。首先，数据中心要求将原始视频素材发送到服务器，从而需要更大的带宽连接。更大的带宽通常意味着更高的通信提供商成本，尤其是在部署基于蜂窝的无线网络时。边缘系统以板载能力处理视频，仅根据需要将数据发送到中心服务器，从而减少了传输数据所需的带宽，降低了通信成本。

其次，基于数据中心的系统需要持续传送数据。如果数据传输中断，则数据中心将无法提供应用服务。为了避免这种情况，理想情况下，数据中心依赖于备用数据传输流，这会进一步增加的通信成本。另一方面，边缘系统不需要与中央管理系统之间的持续通信即可正常运行，并且如果通信服务不可靠或暂时断开连接，则系统可以在主板上存储数据并等待，直到恢复连接以传输任何必要的数据。

最后，部署数据中心系统仍然需要安装通信网关，方可将摄像机和传感器连接到数据中心。边缘系统可以兼作网关，不仅可以提供边缘所需的计算能力，还可以充当边缘与中央云管理系统之间的桥梁。这有助于减少部署系统所需的一些安装基础设施。

第2部分：英特尔的优势

选定基于边缘的应用之后，下一步就是选择正确的硬件解决方案。确定正确的解决方案时，需要考虑几个关键点，例如成本、I/O配置、安装要求以及特定于应用的其他事项，以便在解决方案部署后提供可靠的运转。

虽然客户倾向于使用性能最高的专用边缘系统为应用赋能，但通常最好是坚持采用“恰到好处”的方法。采用Intel®处理器的研扬科技系统在这方面具有关键优势，因为即使是低功耗CPU，例如集成有Intel HD500图形芯片的Intel® Atom™ x5，也可以提供足够的性能来处理ComBox和LARGA所开发乘客计数应用中的两个视频流。VPC-3350S采用研扬科技推出的AI Core X，后者配备Intel® Movidius® Myriad™ X VPU，在这种情况下可以处理三个视频流，同时Intel Atom处理器留有足够的处理能力，可处理其他重要任务，例如与中央管理系统进行通信，或从公交车上收集车辆数据。

尽管专用边缘系统提供了更出色的性能，但它们通常单价更昂贵，或者可能需要进行改造才能更恰当地集成到部署环境中。配备AI Core X的VPC-3350S提供4个POE端口，设计用于在车辆内顺利运行；而类似的专用边缘系统价格昂贵，并且可能不适合车辆中产生的剧烈电压变化。

第3部分：使用OpenVINO和研扬科技解决方案部署

拥有硬件优势之后，现在应该着手研究软件。Intel®的OpenVINO ™工具包发行版为开发商提供了一种解决方案，旨在帮助优化各种英特尔产品中的人工智能推理性能，包括英特尔处理器和/或内置图形控制器、专用加速器和VPU（例如Intel® Movidius® Myriad™ X。该工具包与广泛的英特尔硬件兼容，有助于为人工智能应用带来灵活性和可扩展性。研扬科技借助广泛的嵌入式平台帮助客户实现灵活性，同时在设计时考虑到可扩展性。例如，可以使用英特尔的OpenVINO发行版原样部署VPC-3350S，也可以扩展为带有两个Intel Movidius Myriad X VPU（得益于AI Core X和AI Core XM模块）。

对于ComBox和LARGA来说，OpenVINO提供了另一项重要功能。最初，这两家公司使用另一个人工智能软件环境来设计和编程其推理计算。他们面临的困境是：在选择要部署的硬件之前已对其模型进行了训练，然后需要将模型从一个平台迁移到另一个平台。然而，OpenVINO工具包能够优化在其他环境中训练过的模型，从而可以无缝衔接地快速部署到英特尔硬件上，而几乎不需要再进行训练。

英特尔的OpenVINO工具包发行版有助于缩短部署时间并加快产品上市时间。该发行版与TensorFlow等常见软件推理以及英特尔提供的支持和示例推理兼容，无论开发商是初次设计推理算法还是从其他硬件系统移植，都可以轻松转入新的硬件环境。

产品简介

研扬科技的VPC-3350S移动NVR为用户提供了其他移动NVR所不具备的选项、灵活性和定制功能。VPC-3350S标配Intel® Atom® x5 E3940处理器（前称为Apollo Lake），并可让用户选择Pentium® N4200、Celeron® N3350和Atom® x7 E3950。VPC-3350S的核心功能是其4个PoE端口，可让系统连接到各种设备并为其赋能。VPC-3350S还可以配置具有Intel® Movidius™ Myriad™ X的集成人工智能模块。

VPC-3350S采用创新设计，可为客户提供两种可选配置：紧凑的移动工业系统和灵活的车载平台。工业配置提供了丰富的I/O布局，非常适合在机器视觉应用中使用；而车载配置采用了创新的模块化设计，可提供最终的灵活性、更低的成本和更便捷的定制性。

AI Core X mPCIe模块配备Intel Movidius Myriad X，这是一种低功耗高性能VPU，旨在通过边缘计算实现人工智能加速。作为专用神经网络加速器，Intel Movidius Myriad X可提供高达105 fps的运算速度（典型值为80）和超过1万亿次的浮点运算。AI Core X与英特尔的OpenVINO工具包发行版兼容，同时支持TensorFlow和Caffe框架。

对于需要更强大解决方案的开发商，研扬科技还提供VPC-3350AI。在VPC-3350S的基础上，该产品通过内置的AI Core XM模块进一步提升加速性能，同时配备两个Intel Movidius Myriad X VPU，最高支持210 fps（典型值为160）的运算速度。VPC-3350AI具有与VPC-3350S相同的功能，并且与英特尔的OpenVINO工具包发行版兼容，因此非常适合需要更多功能来部署边缘推理应用的开发商。

ComBox Technology简介

ComBox Technology (网站： www.combox.io) 是基于CPU、GPU、VPU和FPGA的移动计算中心的开发和设计商，该移动计算中心用于解决高科技任务、神经网络和人工智能的训练与执行。该公司拥有自己独特的技术栈，已成功用于实施大型项目。研发团队由在电子计算设备的设计和实施方面经验丰富的专家组成，他们具有适用于各种规模项目的必要技术技能。自2005年以来，ComBox Technology始终致力于解决复杂的技术问题，已在俄罗斯和国际市场上确立了自己的可靠合作伙伴地位。

在其发展过程中，该公司参与了200多个项目，例如开发和实施水中的杂质控制系统、监测反应性离子蚀刻过程的系统、坐标控制系统等，以及设计和建造各种用途的电子元件。

LARGA简介

LARGA集团公司 (网站： www.larga.group) 成立于1998年。过去20多年的发展历程中，LARGA在高科技、工程和视频分析解决方案领域不断取得成功。在视频服务领域，该公司专门提供云解决方案，并且是世界领先开发商的供应商和集成商。LARGA的云端视频流平台（LVS）软件设计用于同时接收、存储和传输音频和视频流以及对其进行分析和控制。一台LVS服务器最多支持10,000个视频流（摄像机）。该公司自有的Larga.Videoserver平台可让用户创建媒体服务器群集，以扩展到任意数量的视频流（摄像机）。凭借其技术优势，LARGA成为MTS PJSC在视频分析领域的独家合作伙伴（MTS是俄罗斯联邦BIG 3运营商的一部分，也是欧洲最大的运营商之一）。根据一项独立研究(点击此处阅读： 链接), LARGA在提供视频服务的俄罗斯集成商供应商中排名第11位。除视频应用外，该公司还提供RPA、BI、微传感器解决方案以及生产自动化领域的解决方案（包括数字孪生工程）。

文章中介绍的产品