嘿!您似乎在 United States,您想使用我们的 English 网站吗?
Switch to English site
Skip to main content

NVIDIA在线课程:深度影像串流-DeepStream实作解说,使用网络影像串流进行深度学习辨识

Deep Stream

在过去的项目中,我们常常在使用网络摄影机或一般的USB摄影机来做影像辨识,自己在建构模型或开发项目的时候是否有更强大以及更简单的开发工具?NVIDIA都知道大家的困难,所以它整合了一套工具叫做「DeepStream」,透过AI来分析串流媒体的信息,让用户可以更清楚环境信息,文中有提到像是城市街道上的交通跟行人;医院病人的安全跟健康;工厂中机器加工的状态,这些都可以透过DeepStream这套工具来开发。

1_SDK1_99d28ad7fd746a98c61f302412bd77cfe8b494cd.png

DeepStream开发上较常见是Python但是底层是由C/C++所建构而成,他们为了让使用者更容易入门,也提供了许多能够参考的应用,可以到该github去看看https://github.com/NVIDIA-AI-IOT/deepstream_python_apps

在DeepStream中比较特别的部分除了提供安全的认证机制之外还有就是导入了TensorRT,目的是为了让数据量减少,这个部份我们将会在特别写一篇相关的技术给大家。接下来是DeepStream的架构图:

2_Structure1_08f5d6e707589b9ba20b0452d3841f909e8548ca.png

从这张图就可以看出整个运作的流程,从摄影机端获得了影像之后先进行编码跟基本的影像前处理,进行批处理以及深度神经网络的inference,VIZ是可视化的意思,神经网络模型运算结束后可能会有BoundingBox、Segmentation、Label需要显示在影像上面,最后输出的时候有提供各种储存方法,像是继续使用RTSP输出或是储存到计算机等等的。

至于分隔线以下的表示用到的工具以及技术,接下来稍微介绍一下各插件的功能,这个对于想取得DeepStream学习证明的人非常有帮助:

  1. 编码:使用的插件为Gst-nvvideo4linux2,技术名称叫做NVDEC
  2. 图像前处理:Gst-nvdewarper用于改善鱼眼镜头或全景相机;Gst-nvvideoconvert负责颜色格式转换,以上用的硬件是GPU、VIC ( vision image compositor )。
  3. 批处理:Gst-nvstreammux,让DeepStream能获得最佳推理。
  4. 在DNN的部分,提供了两种进行Inference的方法,第一种是在本地端进行TensorRT的Inference,使用的方法是GST-nvinfer;第二种是在NVIDIA提供的云端推论平台Triton,而用这个Triton技术的话是GST-nvinferserver。
  5. 推论完可能还会牵扯到是否追踪对象来进行第二次的图片分类,而这边有提供Gst-nvtracker来处理这块,从高效能到高精度都可以做选择。
  6. 接着是可视化工具Gst-nvdsosd。
  7. 最后输出的时候,Gst-nvmsgconv是为了将数据上传到云端上,需要做点格式转换来减轻负载,Gst-nvmsgbroker则是为了建立跟云端的连结。

3_WorkSample1_cbddbb88e61dec35885df12d3bf5b6c568af2122.png

上方的图是一个针对inference流程做解释,在批处理到第二段的分类器这些都是属于神经网络的范畴,这里强调的是可以不只是做一次对象辨识,还可以透过tracker以及Secondary Classifier来进行N次辨识,最后输出一样可以放在EDGE端跟CLOUD端。

使用JetsonNano运作DeepStream范例

深刻了解DeepStream之后我们就可以开始进行实作了,以下实作内容大部分与NVIDIA课程内容相同,并且我们使用Jetson Nano 4G版本来运作。

准备Jetson Nano

下载DLI的映像档:https://developer.download.nvidia.com/training/nano/dsnano_v1-0-0_20GB_200131A.zip,并且透过Etcher刻录安装并且远程联机,可以参考此篇文章 (https://blog.cavedu.com/2019/04/03/jetson-nano-installsystem/ ),刻录后Linux系统预设帐号密码为「dlinano」,接着可以将MicroUSB接到您的计算机。

联机至Jupyter Lab

NVIDIA提供的DLI映像档已经帮我们安装好Jupyter Lab的功能,我们可以透过内网或外网远程联机至Jetson Nano,只要取得虚拟IP的地址,如果是透过MicroUSB连接统一都是192.168.55.1,而透过WIFI远程就会不太一样,像我的装置是192.168.12.152,要注意不论是哪一个IP位置都要加上端口号8888,使用方法是在IP的后方加上冒号与端口号,这样才能连动到Jupyter Lab。

4_jupyterlab_ip1_761c081b016e265fb9a3f8f8ec2c59005c0fb449.png

输入账号密码后的画面如下,我们要使用的程序代码会放在 ~/Notebooks文件夹中:

5_jupyterLab1_5628578b2490b082a19fe498c3cb2cf74d75465b.png

进入该文件夹后会看到NVIDIA提供的六个范例,

第一个是能够侦测串流影像中的对象 ( 人、车等等 );

第二个是透过多个网络对串流影像进行辨识,除了能够辨识对象之外还能得到车子的品牌/颜色等信息;

第三个是多个串流影像的做法;

第四个则是输出成影片,包含Bounding Box;

第五个则是透过Webcam来做实时影像辨识。

6_SampleCode1_da31eea4a1c80f53722f901b71195b783718dd42.png

安装 & 使用 VLC

VLC是一个常见的媒体拨放器,而在Windows端下载VLC目的是要连动到JetsonNano的影像画面,因为JupyterLab无法开启JetsonNano的窗口所以影像相关需要透过网络传到VLC上,安装方法可以直接上官方网站进行下载安装。

7_VLC1_2dff5b54fd459b9a53e591f7c401e1e6b793aeac.png

开启VLC之后,在媒体的选项中可以开启网络串流,开启后需要输入{IP_Adress}:8554/ds-test,接下来就只要执行程序即可看到输出的画面:

8_1_Stream1_1d51c255c045db797510ab41b7f74d6f33b82559.png

01_ObjDetection.ipynb

这个范例是透过Nvidia提供的模型尝试在串流影像中进行实时的对象侦测,它能辨识的对象总共有四种1. Vehicles 2. Bicycles 3. Persons 4. Roadsigns。

实行程序的方法很简单,只需make它提供的文件夹,并且执行欲串流的影片即可,这边要注意的是它只吃h264的编码格式,如果是.mp4还需转成.264才行,这里让我困惑的点是我当初也是透过h264的编码格式输出成mp4,结果它也是不能吃…可能是两种扩展名提供的某些信息不太相同~下图为我执行西门町路况影像的结果:

9_ObjDetection1_36e5ffd59f2423cdeceb6b0f76c16d32c33bd352.png

在实作的部分,官方提供了两个练习给大家操作,第一个是更改Bounding Box的项目,原本四个种类都会被标注,现在它希望更改成只标注脚踏车、汽车,而你只需要更动dstest1_pgie_config.txt的部分,将其改成对应卷标数字,对于不必要出现的项目只要将threshold更改为1即可。

[class-attrs-all]

threshold=0.2

eps=0.2

group-threshold=1

[class-attrs-1]

threshold=0.2

eps=0.2

10_11_a550ee923ebff1b4f6cf5d907d06863bbfb802e4.png 10_21_57504924042f413120ed4cf1a2f8fbaab4f89d67.png

第二个实作则是改变影像上面的卷标显示,在左上方可以看到有显示计算的数值,这部分的话就要去修改deepstream_test1_app.c的档案,过程比较繁杂一点。

1.定义巨集,可以想象就是给予一个变量定值

11_12_960da45b03c4f8ea8ebc05e85ea6b92d03d7243e.png

2.新增变数

11_21_f9f26da604a17acd58c306c60631f11450023e1e.png

3.新增判断并且增加上述变量的数值

11_31_206ea843801734c683e9d661278e558a0f09b588.png

4.改变显示的内容

11_41_dc4cec7d056f4a8dbdeeea10a7a32d0970b953b7.png

5.执行结果

12_11_1d852fc534b98a6f7479ccd2fe3db41ac5f8b06d.png
12_22_0003914800cf55b80e90411a8c4940b1d3fdd40d.png

02_MultipleNetworks.ipynb

13_MultipleNet1_7b5fbecfb8aa0d4b48c8949545e38041c6b4d342.png

它会在侦测到对象之后进行裁切接着在透过别的模型来进行更进一步的分类,相当有趣的一个范例,流程相当容易理解,进行第一次的对象辨识之后会透过tracker将该对象撷取出来进行第二次、第三次等地辅助辨识。

14_MultipleNet_Tool1_65ededc1c15aa8335ce006ce509a76ff95a919b8.png

下图为运行的结果:

15_MultipleNet_Res1_b54d5201b33b942c708dae2a9af6ce7f97563b76.png

稍微学会怎么去更改这个程序吧!主要分为四个阶段:

1.Define

16_11_97a4e92038ebd02a15875387493ca0b19867fc15.png

16_21_77b55c59fbe53c279d8701ca6f47f86d079815d9.png

16_32_3f7c15d2cfd9ebf1bd587aca0b5622acf4272722.png

2.Instantiate

17_14_dcc7545a77a7596a8ae4bdb9835ec0b334758c80.png

17_25_dc98323a22fa640c87839cca6ea2c472d4a3e534.png

17_34_8b2403260b61ff79237dd87fd5889de164f90ffa.png

3.bin/link

17_41_55b5bb360af195f216dd392e0a18745ac42103a2.png

17_51_2340a4b844dffe67f7c55f02f42c086ac728c0f7.png

4.Configure

1827_1a2f144ef3e2fe52990969ca99cf1c2c33d71a2f.png

5.执行结果

1928_2c6c59f190d891db3df60b5b8be3682fe03a39ef.png

6.还有第三个范例是「车子的种类」,读者们可以自己去尝试看看。

03_MultiStream.ipynb

20-1_45c13679d3136abe3b03911094ceb3df7113daa3.png

04_VideoFileOutput.ipynb

档案输出的部分就不多说了,整体操作很简单,主要在探讨如何输出、输出的画面调整、输出的文件格式。

05_DiffNetworks.ipynb

它除了内建的模型之外还提供了fasterRCNN、SSD、YOLO的模型,使用之前需要先进行下载,每个文件夹/ deepstream_sdk_v4.0.2_jetson/sources/objectDetector/ 中都有ReadMe可以查看。

2124_0e089de025558cf783e6b81a5bc2df3737cc714b.png

06_DSWebcam.ipynb

当然最基本的开启摄影机也不会少,透过USB外接网络摄影机并且执行该程序便可以进行实时的影像辨识,在下面影片中卡顿较严重的原因除了本身inference的延迟之外也有可能是因为网络等待时间所导致,这边大家就参考看看,实际速度还是因人而异,那这个部分当然也可以使用其他模型来运作。

webcam1_206d748b4c0ee1decf7ada575e471ce06a434c44.gif

结语

整体而言对于DeepStream提供的一些功能还是相当强大的,因为在串流影像的部分你不只需要注意AI模型的好坏,你还需要注意相当多的数据传输与网络问题,NVIDIA将这块做好之后开发者当然就少去相当多的烦恼了,剩下的就是如何熟悉跟习惯这些工具的用法,下一篇我将会带大家认识TensorRT,以及又该如何去使用它。

CAVEDU Education is devoted into robotics education and maker movement since 2008, and is intensively active in teaching fundamental knowledge and skills. We had published many books for readers in all ages, topics including Deep Learning, edge computing, App Inventor, IoT and robotics. Please check CAVEDU's website for more information: http://www.cavedu.com, http://www.appinventor.tw
DesignSpark Electrical Logolinkedin