你觉得这篇文章怎么样? 帮助我们为您提供更好的内容。
Thank you! Your feedback has been received.
There was a problem submitting your feedback, please try again later.
你觉得这篇文章怎么样?
Intel RealSense
D400 深度摄影机:D415、D435、D435i、D455,各种不同规格的深度摄影机让你可以依照个人需求而购买。
(图片源自Intel RealSense)
追踪摄影机:T265,运行V-SLAM算法,在没有GPS的情况下可以提供精确的空间中的物体追踪、掌握空间及地形特征。适用于有追踪精度要求或是摄影机会大幅度移动的项目。
(图片源自Intel T265)
光达深度摄影机:L515,Intel RealSense L515 是世界上最小的高分辨率光达深度摄影机,是 Intel 光学雷达深度家族的第一款产品,适用于在室内取得高分辨率和高精度深度资料。Intel 的宣传页面上提供的 L515 使用案例为物流、机器人、以及3D扫描。
(图片源自Intel L515)
D455开箱介绍
这次的 D455 相比D435升级了许多:
- 4公尺内误差低于2%,比D435的2公尺低于2%的效果更佳!
- RGB传感器从原本的D435的卷帘式快门升级成全局式快门,并且搭配一个深度FOV,所以速度更快,色彩跟深度的信息可以结合得更好。
- 结合了IMU,可以提升机器人对于环境的熟悉度。
- 除此之外还提供了更长感测距离,机器人将能更快的做出判断!
- 可结合多个D455,捕捉更大的范围。
更多 Intel RealSense的比较细节可以参考下图
(图片来源 Intel Realsense)
下面是 D455 的剖析图:
( 图片来源Intel Realsnse )
而现在校正也更加快速了:
https://www.intelrealsense.com/depth-camera-d455/
接下来就是实际开箱啦!这次D455 检附的东西一样有说明书、realsence本体、三脚脚架以及USB-A to Type-C的传输线。
封面设计 |
说明书 |
D455 |
配件 |
再来是D455实体细部照片,这次的设计由于要塞入强大的感测组件,整体设计较D435宽!值得一提的是相比D435系列需要拆卸Type-C盖子再接线,D455直接做在下方,使用上方便许多。
正面大眼 |
全身修长照 |
美背以及 上方的散热孔 |
底部有脚架锁孔、Type-C接口、散热孔 |
D455 与 D435 外观比较,D455几乎是多了一个镜头的宽度
正面 |
迭住侧面 |
迭住稍微再正面一点 |
D455 与 D435 镜头位置比较 (图片来源 : Intel网站)
D455 |
D435 |
Jetson Nano 使用 RealSense Viewer
首先安装相关软件,先注册服务器的公用密钥,每组D455公用密钥相同。
$ sudo apt-key adv --keyserver keys.gnupg.net --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE
将其添加到存储库列表:
Ubuntu 16 LTS:
$ sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo xenial main" -u
Ubuntu 18 LTS:
$ sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo bionic main" -u
安装相关资源:
$ sudo apt-get install librealsense2-dkms
$ sudo apt-get install librealsense2-utils
安装RealSense开发、侦测套件:
$ sudo apt-get install librealsense2-dev
$ sudo apt-get install librealsense2-dbg
开启RealSense-Viewer确认是否能抓到D455:
$ realsense-viewer
RealSense Viewer
注意接下来介绍的画面是Windows的窗口,功能都一样只差在没有预设人脸及年龄辨识!先将所有的模块都打开来看,分别是深度模块 (Stereo Module)、RGB摄影机 (RGB Camera)、动作感测模块 (Motion Module),右上角有3D、 2D两种模式可以选择,这边我转换成2D的模式,最后可以看到总共有4个画面出来,左上是深度摄影机的信息、左下是RGB、右上右下分别是陀螺仪及加速度计。
Viewer的Windows版本已经有内建人脸辨识以及年龄侦测,蛮准也蛮好玩的,经实测侧脸年龄都比较高,顺便让大家看看同事们认真工作的样子:
在2D模式下,右边的刻度是深度,越大则越远,单位是 meters (m);而鼠标指到的位置会在左下角显示深度信息。
接着切换到3D模式,我稍微测了一下最短距离,大概是0.3XM左右,其实比表定的0.4M还小一些;最远距离的话就如规格所示,大约4M。
可辨识最短距离 (大约) |
可辨识最长距离(大约) |
功能的部分,上方这些基本款的话,只有Shadow、Measure、Export可以玩
其中Shading有三种模式可以更换,可以找到自己喜欢、适合的风格,第二、三的风格差别在于有光线纹路 (?)
Measure的部分则是测量距离,蛮有趣的,准度的话我实际测试如下,可以参考一下,准确度确实蛮高的。
测量结果为 16.8 |
测量结果为 17 |
可以在左侧开关开启RGB的传感器,让深度加上色彩
除此之外,还可以调整模式,可以注意手部的部分会很明显感受到差异。
custom |
high acc |
high density |
Python Example ( pyrealsense2 )
接着利用Jetson Nano 测试一下python的程序,首先要先安装 pyrealsense2,但是在Nano中没办法直接在PyPI中安装 (因为核心是Arrch) 所以要去找源码来建构才行,第一步先将librealsense的github下载下来:
$ git clone https://github.com/IntelRealSense/librealsense.git
确认Ubuntu 的apt-get版本式最新的:
$ sudo apt-get update && sudo apt-get upgrade
安装相依套件:
$ sudo apt-get install python3 python3-dev
透过CMake建置,并将其针对Python3的环境进行编译:
$ mkdir build
$ cd build
$ cmake ../ -DBUILD_PYTHON_BINDINGS:bool=true -DPYTHON_EXECUTABLE=/usr/bin/python3.6
$ make -j5
$ sudo make install
更新您的PYTHONPATH环境变量:
$ export PYTHONPATH=$PYTHONPATH:/usr/local/lib
接着可以导入函式库,基本上没报错就没问题了:
$ python3
>> import pyrealsense2 as rs
如果你导入函式库没问题但是执行程序遇到问题 no attribute 'pipeline’ 只需将wrappers/python/pyrealsense2/__init__.py 放到pyrealsense2的安装路径底下即可:
$ python3
>> import pyrealsense2 as rs
>> rs.__path__
[‘/usr/lib/python3/dist-packages/pyrealsense2’]
取得到 pyrealsense2 的位置之后再将 __init__.py 复制过去
$ sudo cp __init__.py /usr/lib/python3/dist-packages/pyrealsense2
这样就完成 pyrealsense2 的套件安装了,我们尝试几个范例程序看看:
1、python-tutorial-1-depth.py
这是最基础的程序,可以从这里了解怎么开启影像串流,除此之外Intel还很特别的设计了ASCII艺术形式在终端机种显示图像,算法还蛮简单的可以去了解看看。
p
2、opencv_pointcloud_viewer.py
透过OpenCV来显示有两个范例,差异不大!这边提供点云的范例给大家,近两年也越来越多人在点云方面去做深度学习的应用跟训练。
3、depth_auto_calibration_example.py
这是自动去背的案例,相当的有趣。
结语
Intel 的 RealSense系列非常好用,在上需要测距离又需要摄影机的项目上,RealSense可以直接满足这两个模式!