点击蓝字
关注我们,让开发变得更有趣
文章作者：颜国进 英特尔边缘计算创新大使
技术指导：武卓，李翊玮
OpenVINO™ 工具套件可以加快深度学习视觉应用开发速度，帮助用户在从边缘到云的各种英特尔平台上，更加方便快捷的将 AI 模型部署到生产系统中。
C# 是由 C 和 C++ 衍生出来的一种安全的、稳定的、简单的、优雅的面向对象编程语言，它综合了 VB 简单的可视化操作和 C++ 的高运行效率，成为支持成为.NET 开发的首选语言。然而，OpenVINO™ 未提供 C# 语言接口，这对在 C# 中使用 OpenVINO™ 带来了些许不便，在之前的工作中，我们打造了开源，商用免费的OpenVINO™ Sharp 工具包旨在推动 OpenVINO™在 C# 领域的应用，目前已经成功在 Window 平台实现使用。
OpenVINO™ Sharp 工具包 Github 地址（复制链接到浏览器）
https://github.com/guojin-yan/OpenVinoSharp
在本文中，我们将介绍如何在英特尔® 开发者套件 AIxBoard 开发板上基于 Linux 系统实现 OpenVINOSharp。
本文中所使用的范例代码已开源到 OpenVINOSharp 仓库中，GitHub 网址为：
https://github.com/guojin-yan/OpenVINOSharp/blob/openvinosharp3.0/tutorial_examples/AlxBoard_deploy_yolov8/Program.cs向右滑动查看完整代码
图 1 AIxBoard 介绍
1.1.1 产品定位
英特尔® 开发者套件 AIxBoard (爱克斯板)是英特尔开发套件官方序列中的一员，专为入门级人工智能应用和边缘智能设备而设计。爱克斯板能完美胜人工智能学习、开发、实训、应用等不同应用场景。该套件预装了英特尔OpenVINO™ 工具套件、模型仓库和演示套件主要接口与 Jetson Nano 载板兼容，GPIO 与树莓派兼容，能够最大限度地复用成熟的生态资源。这使得套件能够作为边缘计算引擎，为人工智能产品验证和开发提供强大支持；同时，也可以作为域控核心，为机器人产品开发提供技术支撑。
使用 AIxBoard (爱克斯板)开发套件，您将能够在短时间内构建出一个出色的人工智能应用应用程序。无论是用于科研、教育还是商业领域，爱克斯板都能为您提供良好的支持。借助 OpenVINO™ 工具套件，CPU、iGPU 都具备强劲的 AI 推理能力，支持在图像分类、目标检测、分割和语音处理等应用中并行运行多个神经网络。
1.1.2 产品参数
1.1.3 AI 推理单元
借助 OpenVINO™ 工具套件，能够实现 CPU + iGPU 异构计算推理，iGPU(集成显卡)算力约为 0.6TOPS
.NET 是一个免费的跨平台开源开发人员平台 ，用于构建多种应用程序。下面将演示如何在 Ubuntu 20.04 上安装 .NET 环境，支持 .NET Core 2.0-3.1 系列 以及.NET 5-8 系列 ，如果您使用的是其他 Linux 系统，你可以参考在 Linux 发行版上安装 .NET - .NET | Microsoft Learn（复制链接到浏览器）：
https://learn.microsoft.com/zh-cn/dotnet/core/install/linux
1.1.2 添加 Microsoft 包存储库
使用 APT 进行安装可通过几个命令来完成。安装 .NET 之前，请运行以下命令，将 Microsoft 包签名密钥添加到受信任密钥列表，并添加包存储库。
打开终端并运行以下命令：
wget https://packages.microsoft.com/config/ubuntu/20.04/packages-microsoft-prod.deb -O packages-microsoft-prod.debsudo dpkg -i packages-microsoft-prod.debrm packages-microsoft-prod.deb
向右滑动查看完整代码
下图为输入上面命令后控制台的输出：
图 2 1.2.1 添加 Microsoft 包存储库输出
1.2.2 安装 SDK
.NET SDK 使你可以通过 .NET 开发应用。如果安装 .NET SDK，则无需安装相应的运行时。若要安装 .NET SDK，请运行以下命令：
sudo apt-get updatesudo apt-get install -y dotnet-sdk-3.1
向右滑动查看完整代码
下图为安装后控制台的输出：
图 3 安装 SDK 输出
1.2.3 测试安装
通过命令行可以检查 SDK 版本以及 Runtime 时版本。
dotnet --list-sdksdotnet --list-runtimes
向右滑动查看完整代码
下图为输入测试命令后控制台的输出：
图 4 SDK 版本以及 Runtime 版本
1.2.4 测试控制台项目
在 Linux 环境下，我们可以通过 dotnet 命令来创建和编译项目，项目创建命令为：
dotnet new <project_type> -o <project name>向右滑动查看完整代码
此处我们创建一个简单测试控制台项目：
dotnet new console -o test_net6.0cd test_net6.0dotnet run
向右滑动查看完整代码
下图为输入测试命令后控制台的输出以及项目文件夹文件情况，C# 项目会自动创建一个 Program.cs 程序文件，里面包含了程序运行入口主函数，同时还会创建一个 *.csproj 文件，负责指定项目编译中的一些配置。
图 5 控制台项目
以上就是 .NET 环境的配置步骤，如果你的环境与本文不匹配，可以通过 .NET 文档 | Microsoft Learn 获取更多安装步骤（复制链接到浏览器）：
https://learn.microsoft.com/zh-cn/dotnet/
OpenVINO™ 有两种安装选项：
OpenVINO™ Runtime，包含用于在处理器设备上运行模型部署推理的核心库
OpenVINO™ Development Tools 是一组用于处理 OpenVINO™ 和 OpenVINO™ 模型的工具，包括模型优化器、OpenVINO™ Runtime、模型下载器等。
在此处我们只需要安装 OpenVINO™ Runtime 即可。
1.3.1 下载 OpenVINO™ Runtime
访问 Download the Intel Distribution of OpenVINO™ Toolkit 页面，按照下面流程选择相应的安装选项，在下载页面，由于我们的设备使用的是 Ubuntu20.04，因此下载时按照指定的编译版本下载即可。
下载地址请见以下（复制链接到浏览器）
https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html?ENVIRONMENT=DEV_TOOLS&OP_SYSTEM=WINDOWS&VERSION=v_2023_0_1&DISTRIBUTION=PIP
图 6 OpenVINO™ Runtime 下载
1.3.2 解压安装包
我们所下载的 OpenVINO™ Runtime 本质是一个 C++ 依赖包，因此我们把它放到我们的系统目录下，这样在编译时会根据设置的系统变量获取依赖项。首先在系统文件夹下创建一个文件夹：
sudo mkdir -p /opt/intel然后解压缩我们下载的安装文件，并将其移动到指定文件夹下：
tar -xvzf l_openvino_toolkit_ubuntu20_2023.0.1.11005.fa1c41994f3_x86_64.tgzsudo mv l_openvino_toolkit_ubuntu20_2023.0.1.11005.fa1c41994f3_x86_64 /opt/intel/openvino_2022.3.0
1.3.3 安装依赖
接下来我们需要安装 OpenVINO™ Runtime 所有的依赖项，通过命令行输入以下命令即可：
cd /opt/intel/openvino_2022.3.0/sudo -E ./install_dependencies/install_openvino_dependencies.sh
向右滑动查看完整代码
图 7 安装 OpenVINO™ Runtime 依赖项
1.3.4 配置环境变量
安装完成后，我们需要配置环境变量，以保证在调用时系统可以获取对应的文件，通过命令行输入以下命令即可：
source /opt/intel/openvino_2022.3.0/setupvars.sh向右滑动查看完整代码
以上就是 OpenVINO™ Runtime 环境的配置步骤，如果你的环境与本文不匹配，可以通过 Install OpenVINO™ Runtime — OpenVINO™ documentation — Version(2023.0) 获取更多安装步骤（复制链接到浏览器）：
https://docs.openvino.ai/2023.0/openvino_docs_install_guides_install_runtime.html
项目中所使用的代码已经放在 GitHub 仓库 AlxBoard_deploy_yolov8，大家可以根据情况自行下载和使用，下面我将会从头开始一步步构建 AlxBoard_deploy_yolov8 项目。
AlxBoard_deploy_yolov8 GitHub 地址（复制链接到浏览器）：
https://github.com/guojin-yan/OpenVINOSharp/blob/openvinosharp3.0/tutorial_examples/AlxBoard_deploy_yolov8/Program.cs
1.4.1 创建 AlxBoard_deploy_yolov8 项目
在该项目中，我们需要使用 OpenCvSharp，该依赖目前在 Ubutun 平台最高可以支持 .NET Core 3.1，因此我们此处创建一个 .NET Core 3.1 的项目，使用 Terminal 输入以下指令创建并打开项目文件：
dotnet new console --framework "netcoreapp3.1" -o AlxBoard_deploy_yolov8cd AlxBoard_deploy_yolov8
向右滑动查看完整代码
图 8 1.4.1 创建 AlxBoard_deploy_yolov8 项目
创建完项目后，将 AlxBoard_deploy_yolov8 的代码内容替换到创建的项目中的 Program.cs 文件中：
AlxBoard_deploy_yolov8 代码地址（复制链接到浏览器）
https://github.com/guojin-yan/OpenVINOSharp/blob/openvinosharp3.0/tutorial_examples/AlxBoard_deploy_yolov8/Program.cs
1.4.2 添加 OpenVINOSharp 依赖
由于 OpenVINOSharp 当前正处于开发阶段，还未创建 Linux 版本的 NuGet Package，因此需要通过下载项目源码以项目引用的方式使用。
01
下载源码
通过 Git 下载项目源码，新建一个 Terminal，并输入以下命令克隆远程仓库，将该项目放置在 AlxBoard_deploy_yolov8 同级目录下。
git clone https://github.com/guojin-yan/OpenVINOSharp.gitcd OpenVINOSharp
向右滑动查看完整代码
本文的项目目录为：
Program--|-AlxBoard_deploy_yolov8--|-OpenVINOSharp
向右滑动查看完整代码
02
修改 OpenVINO™ 依赖
由于项目源码的 OpenVINO™ 依赖与本文设置不同，因此需要修改 OpenVINO™ 依赖项的路径，主要通过修改
OpenVINOSharp/src/OpenVINOSharp/native_methods/ov_base.cs 文件即可，修改内容如下：
private const string dll_extern = "./openvino2023.0/openvino_c.dll";---修改为--->private const string dll_extern = "libopenvino_c.so";
向右滑动查看完整代码
03
添加项目依赖
在 Terminal 输入以下命令，即可将 OpenVINOSharp 添加到
AlxBoard_deploy_yolov8 项目引用中。
dotnet add reference ./../OpenVINOSharp/src/OpenVINOSharp/OpenVINOSharp.csproj向右滑动查看完整代码
04
添加环境变量
该项目需要调用 OpenVINO™ 动态链接库，因此需要在当前环境下增加 OpenVINO™ 动态链接库路径：
export LD_LIBRARY_PATH=/opt/intel/openvino_2023.0/runtime/lib/intel64向右滑动查看完整代码
1.4.3 添加 OpenCvSharp
01
安装 NuGet Package
OpenCvSharp 可以通过 NuGet Package 安装，只需要在 Terminal 输入以下命令：
dotnet add package OpenCvSharp4_.runtime.ubuntu.20.04-x64dotnet add package OpenCvSharp4
向右滑动查看完整代码
02
添加环境变量
将以下路径添加到环境变量中：
export LD_LIBRARY_PATH=/home/ygj/Program/OpenVINOSharp/tutorial_examples/AlxBoard_deploy_yolov8/bin/Debug/netcoreapp3.1/runtimes/ubuntu.20.04-x64/native向右滑动查看完整代码
/bin/Debug/netcoreapp3.1/runtimes/ubuntu.20.04-x64/native 是 AlxBoard_deploy_yolov8 编译后生成的路径，该路径下存放了 libOpenCvSharpExtern.so 文件，该文件主要是封装的 OpenCV 中的各种接口。也可以将该文件拷贝到项目运行路径下。
03
检测 libOpenCvSharpExtern 依赖
由于 libOpenCvSharpExtern.so 是在其他环境下编译好的动态链接库，本机电脑可能会缺少相应的依赖，因此可以通过 ldd 命令检测。
ldd libOpenCvSharpExtern.so
图 9 检测 libOpenCvSharpExtern 依赖
如果输出内容中没有 no found 的，说明不缺少依赖，如果存在，则需要安装缺少的依赖项才可以正常使用。
添加完项目依赖以及 NuGet Package 后，项目的配置文件内容为：
<Project Sdk="Microsoft.NET.Sdk"><ItemGroup><ProjectReference Include="..\OpenVINOSharp\src\OpenVINOSharp\OpenVINOSharp.csproj" /></ItemGroup><ItemGroup><PackageReference Include="OpenCvSharp4" Version="4.8.0.20230708" /><PackageReference Include="OpenCvSharp4_.runtime.ubuntu.20.04-x64" Version="4.8.0.20230708" /></ItemGroup><PropertyGroup><OutputType>Exe</OutputType><TargetFramework>netcoreapp3.1</TargetFramework></PropertyGroup></Project>
向右滑动查看完整代码
该项目测试所使用的模型与文件都可以在 OpenVINOSharp中找到，因此下面我们通过 OpenVINOSharp 仓库下的模型与文件进行测试。
通过 dotnet 运行，只需要运行以下命令即可。
dotnet run <args><args>参数设指的是模型预测类型、模型路径、图片文件路径参数，预测类型输入包括：'det'、'seg'、'pose'、'cls' 四种类型；默认推理设备设置为'AUTO'，对于'det'、'seg'预测，可以设置参数，如果设置该参数，会将结果绘制到图片上，如果未设置，会通过控制台打印出来。
1.5.1 编译运行 Yolov8-det 模型
编译运行命令为:
dotnet run det /home/ygj/Program/OpenVINOSharp/model/yolov8/yolov8s.xml /home/ygj/Program/OpenVINOSharp/dataset/image/demo_2.jpg GPU.0 /home/ygj/Program/OpenVINOSharp/dataset/lable/COCO_lable.txt向右滑动查看完整代码
模型推理输出结果为：
---- OpenVINO INFO----Description : OpenVINO RuntimeBuild number: 2023.0.1-11005-fa1c41994f3-releases/2023/0Set inference device GPU.0.[] Loading model files: /home/ygj/Program/OpenVINOSharp/model/yolov8/yolov8s.xml[] model name: torch_jit[] inputs:[] input name: images[] input type: f32[] input shape: Shape : [1, 3, 640, 640][] outputs:[] output name: output0[] output type: f32[] output shape: Shape : [1, 84, 8400][] Read image files: /home/ygj/Program/OpenVINOSharp/dataset/image/demo_2.jpgDetection result :1: 0 0.89 (x:744 y:43 width:388 height:667)2: 0 0.88 (x:149 y:202 width:954 height:507)3: 27 0.72 (x:435 y:433 width:98 height:284)
向右滑动查看完整代码
图 10 Yolov8-det 模型预测输出
1.5.2 编译运行 Yolov8-cls 模型
编译运行命令为:
dotnet run cls /home/ygj/Program/OpenVINOSharp/model/yolov8/yolov8s-cls.xml /home/ygj/Program/OpenVINOSharp/dataset/image/demo_7.jpg GPU.0向右滑动查看完整代码
模型推理输出结果为：
---- OpenVINO INFO----Description : OpenVINO RuntimeBuild number: 2023.0.1-11005-fa1c41994f3-releases/2023/0Set inference device GPU.0.[] Loading model files: /home/ygj/Program/OpenVINOSharp/model/yolov8/yolov8s-cls.xml[] model name: torch_jit[] inputs:[] input name: images[] input type: f32[] input shape: Shape : [1, 3, 224, 224][] outputs:[] output name: output0[] output type: f32[] output shape: Shape : [1, 1000][] Read image files: /home/ygj/Program/OpenVINOSharp/dataset/image/demo_7.jpgClassification Top 10 result :classid probability------- -----------294 0.992173269 0.002861296 0.002111295 0.000714270 0.000546276 0.000432106 0.000159362 0.000147260 0.000078272 0.000070
向右滑动查看完整代码
1.5.3 编译运行 Yolov8-pose 模型
编译运行命令为:
dotnet run pose /home/ygj/Program/OpenVINOSharp/model/yolov8/yolov8s-pose.xml /home/ygj/Program/OpenVINOSharp/dataset/image/demo_9.jpg GPU.0向右滑动查看完整代码
模型推理输出结果为：
---- OpenVINO INFO----Description : OpenVINO RuntimeBuild number: 2023.0.1-11005-fa1c41994f3-releases/2023/0Set inference device GPU.0.[] Loading model files: /home/ygj/Program/OpenVINOSharp/model/yolov8/yolov8s-pose.xml[] model name: torch_jit[] inputs:[] input name: images[] input type: f32[] input shape: Shape : [1, 3, 640, 640][] outputs:[] output name: output0[] output type: f32[] output shape: Shape : [1, 56, 8400][] Read image files: /home/ygj/Program/OpenVINOSharp/dataset/image/demo_9.jpgClassification result :1: 1 0.94 (x:104 y:22 width:152 height:365) Nose: (188 ,60 ,0.93) Left Eye: (192 ,53 ,0.83) Right Eye: (180 ,54 ,0.90) Left Ear: (196 ,53 ,0.50) Right Ear: (167 ,56 ,0.76) Left Shoulder: (212 ,92 ,0.93) Right Shoulder: (151 ,93 ,0.94) Left Elbow: (230 ,146 ,0.90) Right Elbow: (138 ,142 ,0.93) Left Wrist: (244 ,199 ,0.89) Right Wrist: (118 ,187 ,0.92) Left Hip: (202 ,192 ,0.97) Right Hip: (168 ,193 ,0.97) Left Knee: (184 ,272 ,0.96) Right Knee: (184 ,276 ,0.97) Left Ankle: (174 ,357 ,0.87) Right Ankle: (197 ,354 ,0.88)
向右滑动查看完整代码
图 11 Yolov8-pose 模型预测输出
1.5.4 编译运行 Yolov8-seg 模型
编译运行命令为:
dotnet run seg /home/ygj/Program/OpenVINOSharp/model/yolov8/yolov8s-seg.xml /home/ygj/Program/OpenVINOSharp/dataset/image/demo_2.jpg GPU.0 /home/ygj/Program/OpenVINOSharp/dataset/lable/COCO_lable.txt向右滑动查看完整代码
模型推理输出结果为：
---- OpenVINO INFO----Description : OpenVINO RuntimeBuild number: 2023.0.1-11005-fa1c41994f3-releases/2023/0Set inference device GPU.0.[] Loading model files: /home/ygj/Program/OpenVINOSharp/model/yolov8/yolov8s-seg.xml47[] model name: torch_jit[] inputs:[] input name: images[] input type: f32[] input shape: Shape : [1, 3, 640, 640][] outputs:[] output name: output0[] output type: f32[] output shape: Shape : [1, 116, 8400][] Read image files: /home/ygj/Program/OpenVINOSharp/dataset/image/demo_2.jpgSegmentation result :1: 0 0.90 (x:745 y:42 width:403 height:671)2: 0 0.86 (x:121 y:196 width:1009 height:516)3: 27 0.69 (x:434 y:436 width:90 height:280)
向右滑动查看完整代码
图 12 Yolov8-seg 模型预测输出
AIxBoard 开发板板载了 N5105 CPU 以及 UHD 集成显卡，此处对 CPU、iGPU 的推理性能做了一个简单测试，主要检测了模型推理时间，并使用 i7-1165G7 进行了同步测试，测试结果如表所示。
可以看出，英特尔® 赛扬 N5105 CPU 在模型推理性能是十分强大的：针对 Yolov8 模型，平均处理速度可以达到10FPs。
在该项目中，我们基于 Ubutn 20.04 系统，成功实现了在 C# 环境下调用 OpenVINO™ 部署深度学习模型，验证了在 Linux 环境下 OpenVINOSharp 项目的的可行性，这对后面在 Linux 环境下开发 OpenVINOSharp 具有很重要的意义。
欢迎关注 OpenVINOSharp 代码仓（复制链接到浏览器）：
https://github.com/guojin-yan/OpenVinoSharp
OpenVINO™
--END--
你也许想了解(点击蓝字查看)⬇️
➡️ 基于 Llama2 和 OpenVINO™ 打造聊天机器人
➡️ OpenVINO™ DevCon 2023重磅回归！英特尔以创新产品激发开发者无限潜能
➡️ 5周年更新 | OpenVINO™ 2023.0，让AI部署和加速更容易
➡️ OpenVINO™5周年重头戏！2023.0版本持续升级AI部署和加速性能
➡️ OpenVINO™2023.0实战 | 在 LabVIEW 中部署 YOLOv8 目标检测模型
➡️ 开发者实战系列资源包来啦！
➡️
以AI作画，祝她节日快乐；简单三步，OpenVINO™ 助你轻松体验AIGC
➡️
还不知道如何用OpenVINO™作画？点击了解教程。
➡️
几行代码轻松实现对于PaddleOCR的实时推理，快来get！
➡️
使用OpenVINO 在“端—边—云”快速实现高性能人工智能推理
➡️
图片提取文字很神奇？试试三步实现OCR！
➡️
【Notebook系列第六期】基于Pytorch预训练模型，实现语义分割任务
➡️
使用OpenVINO™ 预处理API进一步提升YOLOv5推理性能
扫描下方二维码立即体验
OpenVINO™ 工具套件 2023.0
本文分享自微信公众号 - OpenVINO 中文社区（openvinodev）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
