你觉得这篇文章怎么样? 帮助我们为您提供更好的内容。
Thank you! Your feedback has been received.
There was a problem submitting your feedback, please try again later.
你觉得这篇文章怎么样?
Intel RealSense
D400 深度攝影機:D415、D435、D435i、D455,各種不同規格的深度攝影機讓你可以依照個人需求而購買。
(圖片源自Intel RealSense)
追蹤攝影機:T265,運行V-SLAM演算法,在沒有GPS的情況下可以提供精確的空間中的物體追蹤、掌握空間及地形特徵。適用於有追蹤精度要求或是攝影機會大幅度移動的專案。
.
$ python3
>> import pyrealsense2 as rs
(圖片源自Intel T265)
光達深度攝影機:L515,Intel RealSense L515 是世界上最小的高解析度光達深度攝影機,是 Intel 光學雷達深度家族的第一款產品,適用於在室內取得高解析度和高精度深度資料。Intel 的宣傳頁面上提供的 L515 使用案例為物流、機器人、以及3D掃描。
(圖片源自Intel L515)
D455開箱介紹
這次的 D455 相比D435升級了許多:
- 4公尺內誤差低於2%,比D435的2公尺低於2%的效果更佳!
- RGB感測器從原本的D435的捲簾式快門升級成全局式快門,並且搭配一個深度FOV,所以速度更快,色彩跟深度的資訊可以結合得更好。
- 結合了IMU,可以提升機器人對於環境的熟悉度。
- 除此之外還提供了更長感測距離,機器人將能更快的做出判斷!
- 可結合多個D455,捕捉更大的範圍。
更多 Intel RealSense的比較細節可以參考下圖
(圖片來源 Intel Realsense)
( 圖片來源Intel Realsnse )
而現在校正也更加快速了:
接下來就是實際開箱啦!這次D455 檢附的東西一樣有說明書、realsence本體、三腳腳架以及USB-A to Type-C的傳輸線。
封面設計 |
說明書 |
D455 |
配件 |
再來是D455實體細部照片,這次的設計由於要塞入強大的感測元件,整體設計較D435寬!值得一提的是相比D435系列需要拆卸Type-C蓋子再接線,D455直接做在下方,使用上方便許多。
正面大眼 |
全身修長照 |
美背以及 上方的散熱孔 |
底部有腳架鎖孔、Type-C接口、散熱孔 |
D455 與 D435 外觀比較,D455幾乎是多了一個鏡頭的寬度
正面 |
疊住側面 |
疊住稍微再正面一點 |
D455 與 D435 鏡頭位置比較 (圖片來源 : Intel網站)
D455 |
D435 |
Jetson Nano 使用 RealSense Viewer
首先安裝相關軟體,先註冊服務器的公用金鑰,每組D455公用金鑰相同。
$ sudo apt-key adv --keyserver keys.gnupg.net --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE
將其添加到存儲庫列表:
Ubuntu 16 LTS:
$ sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo xenial main" -u
Ubuntu 18 LTS:
$ sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo bionic main" -u
安裝相關資源:
$ sudo apt-get install librealsense2-dkms
$ sudo apt-get install librealsense2-utils
安裝RealSense開發、偵測套件:
$ sudo apt-get install librealsense2-dev
$ sudo apt-get install librealsense2-dbg
開啟RealSense-Viewer確認是否能抓到D455:
$ realsense-viewer
RealSense Viewer
注意接下來介紹的畫面是Windows的視窗,功能都一樣只差在沒有預設人臉及年齡辨識!先將所有的模組都打開來看,分別是深度模組 (Stereo Module)、RGB攝影機 (RGB Camera)、動作感測模組 (Motion Module),右上角有3D、 2D兩種模式可以選擇,這邊我轉換成2D的模式,最後可以看到總共有4個畫面出來,左上是深度攝影機的資訊、左下是RGB、右上右下分別是陀螺儀及加速度計。
Viewer的Windows版本已經有內建人臉辨識以及年齡偵測,蠻準也蠻好玩的,經實測側臉年齡都比較高,順便讓大家看看同事們認真工作的樣子:
在2D模式下,右邊的刻度是深度,越大則越遠,單位是 meters (m);而滑鼠指到的位置會在左下角顯示深度資訊。
接著切換到3D模式,我稍微測了一下最短距離,大概是0.3XM左右,其實比表定的0.4M還小一些;最遠距離的話就如規格所示,大約4M。
可辨識最短距離 (大約) |
可辨識最長距離(大約) |
功能的部分,上方這些基本款的話,只有Shadow、Measure、Export可以玩
其中Shading有三種模式可以更換,可以找到自己喜歡、適合的風格,第二、三的風格差別在於有光線紋路 (?)
Measure的部分則是測量距離,蠻有趣的,準度的話我實際測試如下,可以參考一下,準確度確實蠻高的。
測量結果為 16.8 |
測量結果為 17 |
可以在左側開關開啟RGB的感測器,讓深度加上色彩
除此之外,還可以調整模式,可以注意手部的部分會很明顯感受到差異。
custom |
high acc |
high density |
Python Example ( pyrealsense2 )
接著利用Jetson Nano 測試一下python的程式,首先要先安裝 pyrealsense2,但是在Nano中沒辦法直接在PyPI中安裝 (因為核心是Arrch) 所以要去找源碼來建構才行,第一步先將librealsense的github下載下來:
$ git clone https://github.com/IntelRealSense/librealsense.git
確認Ubuntu 的apt-get版本式最新的:
$ sudo apt-get update && sudo apt-get upgrade
安裝相依套件:
$ sudo apt-get install python3 python3-dev
透過CMake建置,並將其針對Python3的環境進行編譯:
$ mkdir build
$ cd build
$ cmake ../ -DBUILD_PYTHON_BINDINGS:bool=true -DPYTHON_EXECUTABLE=/usr/bin/python3.6
$ make -j5
$ sudo make install
更新您的PYTHONPATH環境變量:
$ export PYTHONPATH=$PYTHONPATH:/usr/local/lib
接著可以導入函式庫,基本上沒報錯就沒問題了:
$ python3
>> import pyrealsense2 as rs
如果你導入函式庫沒問題但是執行程式遇到問題 no attribute 'pipeline’ 只需將wrappers/python/pyrealsense2/__init__.py 放到pyrealsense2的安裝路徑底下即可:
$ python3
>> import pyrealsense2 as rs
>> rs.__path__
[‘/usr/lib/python3/dist-packages/pyrealsense2’]
取得到 pyrealsense2 的位置之後再將 __init__.py 複製過去
$ sudo cp __init__.py /usr/lib/python3/dist-packages/pyrealsense2
這樣就完成 pyrealsense2 的套件安裝了,我們嘗試幾個範例程式看看:
1、python-tutorial-1-depth.py
這是最基礎的程式,可以從這裡了解怎麼開啟影像串流,除此之外Intel還很特別的設計了ASCII藝術形式在終端機種顯示圖像,演算法還蠻簡單的可以去了解看看。
2、opencv_pointcloud_viewer.py
透過OpenCV來顯示有兩個範例,差異不大!這邊提供點雲的範例給大家,近兩年也越來越多人在點雲方面去做深度學習的應用跟訓練。
3、depth_auto_calibration_example.py
這是自動去背的案例,相當的有趣。
結語
Intel 的 RealSense系列非常好用,在上需要測距離又需要攝影機的專案上,RealSense可以直接滿足這兩個模式!