嘿!您似乎在 United States,您想使用我们的 English 网站吗?
Switch to English site
Skip to main content

开箱Intel RealSense D455深度摄影机,在Jetson Nano上安装、执行Python范例

Intel RealSense

D400 深度摄影机:D415、D435、D435i、D455,各种不同规格的深度摄影机让你可以依照个人需求而购买。

1_D4003_5b25ded0416a723b91998940b2d3ecb18a294072.png

(图片源自Intel RealSense)

追踪摄影机:T265,运行V-SLAM算法,在没有GPS的情况下可以提供精确的空间中的物体追踪、掌握空间及地形特征。适用于有追踪精度要求或是摄影机会大幅度移动的项目。

2_T2651_dbd66d2e892c1d243dd40396a59f03b0796d850f.png

(图片源自Intel T265)

光达深度摄影机:L515,Intel RealSense L515 是世界上最小的高分辨率光达深度摄影机,是 Intel 光学雷达深度家族的第一款产品,适用于在室内取得高分辨率和高精度深度资料。Intel 的宣传页面上提供的 L515 使用案例为物流、机器人、以及3D扫描。

3_L5151_2bc9c38f5119845ce538ea448ea0df0d25cc22d2.png

(图片源自Intel L515)

D455开箱介绍

这次的 D455 相比D435升级了许多:

  1. 4公尺内误差低于2%,比D435的2公尺低于2%的效果更佳!
  2. RGB传感器从原本的D435的卷帘式快门升级成全局式快门,并且搭配一个深度FOV,所以速度更快,色彩跟深度的信息可以结合得更好。
  3. 结合了IMU,可以提升机器人对于环境的熟悉度。
  4. 除此之外还提供了更长感测距离,机器人将能更快的做出判断!
  5. 可结合多个D455,捕捉更大的范围。

更多 Intel RealSense的比较细节可以参考下图

4_RealSense_Family1_aef199d34e9f45f82584a62f502454c8be0f084b.png

(图片来源 Intel Realsense)

下面是 D455 的剖析图:

5_detail_d4551_a0d6a152efe423d27aece159758d1f4cc64e702d.png

( 图片来源Intel Realsnse )

而现在校正也更加快速了:

https://www.intelrealsense.com/depth-camera-d455/

接下来就是实际开箱啦!这次D455 检附的东西一样有说明书、realsence本体、三脚脚架以及USB-A to Type-C的传输线。

7_1_%E5%A4%96%E6%AE%BC2_b53b5c759dc2f1aab681e71e9d13230f0a53c545.jpg 7_2_%E8%AA%AA%E6%98%8E%E6%9B%B81_f5cdd8c13b7708cf8ac77923cd16357fa246e907.jpg 7_3_D4551_d9380d651eba258c9bb02bb592549cb7c781fd1b.jpg 7_4_%E5%85%A7%E5%AE%B91_b4de05cc363ac211bd02458bc8ef38aebd1afa7b.jpg

封面设计

说明书

D455

配件

再来是D455实体细部照片,这次的设计由于要塞入强大的感测组件,整体设计较D435宽!值得一提的是相比D435系列需要拆卸Type-C盖子再接线,D455直接做在下方,使用上方便许多。

8_11_da5a13554620e103791ab986521ff84cb1d850aa.jpg 8_21_ff424d5ed1969a65c18b1878161f79d134b6c786.jpg 8_31_574e046f0f27dda4912f079df8f952e54962bf5c.jpg 8_42_8c6164de9c5760a509194fa1494306616e3f1097.jpg

正面大眼

全身修长照

美背以及

上方的散热孔

底部有脚架锁孔、Type-C接口、散热孔

D455 与 D435 外观比较,D455几乎是多了一个镜头的宽度

9_11_93db469711ee8397c46ee5ee85ae93c474162164.jpg 9_21_1f20989545c6bd1474b032b040441dcd4f6bed3c.jpg 9_31_18b388b9f05326e96e4bfe7b10c5bc861437622d.jpg

正面

迭住侧面

迭住稍微再正面一点

D455 与 D435 镜头位置比较 (图片来源 : Intel网站)

10_d4551_e8ce2af7340e25b37b5c8cecdeaf14d948c62cae.jpg 10_d4352_e24230917e5936abf95ef9e3b66b61c6d8d49755.jpg

D455

D435

Jetson Nano 使用 RealSense Viewer

首先安装相关软件,先注册服务器的公用密钥,每组D455公用密钥相同。

$ sudo apt-key adv --keyserver keys.gnupg.net --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE

将其添加到存储库列表:

Ubuntu 16 LTS:

$ sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo xenial main" -u

Ubuntu 18 LTS:

$ sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo bionic main" -u

安装相关资源:

$ sudo apt-get install librealsense2-dkms
$ sudo apt-get install librealsense2-utils

安装RealSense开发、侦测套件:

$ sudo apt-get install librealsense2-dev
$ sudo apt-get install librealsense2-dbg

开启RealSense-Viewer确认是否能抓到D455:

$ realsense-viewer

11_viewer1_e195fa7905428e313644b9a366b5092463d7717b.png

RealSense Viewer

注意接下来介绍的画面是Windows的窗口,功能都一样只差在没有预设人脸及年龄辨识!先将所有的模块都打开来看,分别是深度模块 (Stereo Module)、RGB摄影机 (RGB Camera)、动作感测模块 (Motion Module),右上角有3D、 2D两种模式可以选择,这边我转换成2D的模式,最后可以看到总共有4个画面出来,左上是深度摄影机的信息、左下是RGB、右上右下分别是陀螺仪及加速度计。

1250_6ae90a7443357ef529d5fe4f910248e2c74ff87b.jpg

Viewer的Windows版本已经有内建人脸辨识以及年龄侦测,蛮准也蛮好玩的,经实测侧脸年龄都比较高,顺便让大家看看同事们认真工作的样子:

13_12_302e573566a57661ca538123dd29857e4a363595.jpg 13_22_1eaabe6523f1c0f8f8209924e0b4dc5248eabe11.jpg

在2D模式下,右边的刻度是深度,越大则越远,单位是 meters (m);而鼠标指到的位置会在左下角显示深度信息。

接着切换到3D模式,我稍微测了一下最短距离,大概是0.3XM左右,其实比表定的0.4M还小一些;最远距离的话就如规格所示,大约4M。

15_12_caaa67ae0c28c765f85284c47e351d31280e4b26.jpg 15_21_eba5cc32c0291641b54567445f08843328f41625.jpg

可辨识最短距离 (大约)

可辨识最长距离(大约)

功能的部分,上方这些基本款的话,只有Shadow、Measure、Export可以玩

1642_7fa6a57bbe56fd755b6182feb9225092bfb20faf.jpg

其中Shading有三种模式可以更换,可以找到自己喜欢、适合的风格,第二、三的风格差别在于有光线纹路 (?)

17_11_a2380311bfa514bcf150540459a7007fdf593b2b.png 17_22_13505011e6abe6c5e813634c727185480470a819.png 17_31_90711d1d248233d7ad009163dadc4423cfc3f162.png

Measure的部分则是测量距离,蛮有趣的,准度的话我实际测试如下,可以参考一下,准确度确实蛮高的。

18_12_bd494e22c3a29f54c39c1bf434cde07feadf0b9a.png 18_21_4a25c469221c86137022307d2f18faa332f12df3.jpg

测量结果为 16.8

测量结果为 17

可以在左侧开关开启RGB的传感器,让深度加上色彩

19_11_bca9ff106814f9d17eda0663a822f986aa4d7978.png 13_13_302e573566a57661ca538123dd29857e4a363595.jpg

除此之外,还可以调整模式,可以注意手部的部分会很明显感受到差异。

17_12_a2380311bfa514bcf150540459a7007fdf593b2b.png 17_23_13505011e6abe6c5e813634c727185480470a819.png 17_32_90711d1d248233d7ad009163dadc4423cfc3f162.png

custom

high acc

high density

Python Example ( pyrealsense2 )

接着利用Jetson Nano 测试一下python的程序,首先要先安装 pyrealsense2,但是在Nano中没办法直接在PyPI中安装 (因为核心是Arrch) 所以要去找源码来建构才行,第一步先将librealsense的github下载下来:

$ git clone https://github.com/IntelRealSense/librealsense.git

确认Ubuntu 的apt-get版本式最新的:

$ sudo apt-get update && sudo apt-get upgrade

安装相依套件:

$ sudo apt-get install python3 python3-dev

透过CMake建置,并将其针对Python3的环境进行编译:

$ mkdir build
$ cd build
$ cmake ../ -DBUILD_PYTHON_BINDINGS:bool=true -DPYTHON_EXECUTABLE=/usr/bin/python3.6
$ make -j5
$ sudo make install

更新您的PYTHONPATH环境变量:

$ export PYTHONPATH=$PYTHONPATH:/usr/local/lib

接着可以导入函式库,基本上没报错就没问题了:

$ python3
>> import pyrealsense2 as rs

如果你导入函式库没问题但是执行程序遇到问题 no attribute 'pipeline’ 只需将wrappers/python/pyrealsense2/__init__.py 放到pyrealsense2的安装路径底下即可:

$ python3
>> import pyrealsense2 as rs
>> rs.__path__
[‘/usr/lib/python3/dist-packages/pyrealsense2’]

取得到 pyrealsense2 的位置之后再将 __init__.py 复制过去

$ sudo cp __init__.py /usr/lib/python3/dist-packages/pyrealsense2

21_pipline_crop1_998d7b8ef387d85199e04e1e897dca258fac6b6c.png

这样就完成 pyrealsense2 的套件安装了,我们尝试几个范例程序看看:

1、python-tutorial-1-depth.py
这是最基础的程序,可以从这里了解怎么开启影像串流,除此之外Intel还很特别的设计了ASCII艺术形式在终端机种显示图像,算法还蛮简单的可以去了解看看。

22_tutorial1_9b6e924b06893ddffb593c0d93a990029344922d.pngp

2、opencv_pointcloud_viewer.py

透过OpenCV来显示有两个范例,差异不大!这边提供点云的范例给大家,近两年也越来越多人在点云方面去做深度学习的应用跟训练。

23_opencv_pointcloud1_bbd7ba2c6dcfad116ce9cd15d623833f42b5c728.png

3、depth_auto_calibration_example.py

这是自动去背的案例,相当的有趣。

24_align_depth2color1_2ee50a75256714459bbf4a69e7b08126aac04e29.png

结语

Intel 的 RealSense系列非常好用,在上需要测距离又需要摄影机的项目上,RealSense可以直接满足这两个模式!

CAVEDU Education is devoted into robotics education and maker movement since 2008, and is intensively active in teaching fundamental knowledge and skills. We had published many books for readers in all ages, topics including Deep Learning, edge computing, App Inventor, IoT and robotics. Please check CAVEDU's website for more information: http://www.cavedu.com, http://www.appinventor.tw
DesignSpark Electrical Logolinkedin