自動駕駛技術 視覺篇 偽光達Pseudo-LiDAR 如何使用照片計算出深度資訊? 【上】

DDCAR電動車 2022-04-05 21:12:00

自動駕駛光達篇阿財分了上中下和番外篇,分別從光達的是如何利用ToF計算深度,並且比較了不同的光達技術,最後介紹了高精地圖的繪製,沒看過的朋友可以去阿財的主頁看看包準乾貨滿滿!

接下來進到大家萬眾矚目的系列-自動駕駛電腦視覺篇

我相信不少朋友知道視覺技術是因為特斯拉或是Google Waymo的關係,但其實電腦視覺(Computer vision (CV))技術已經行之有年,更準確地說電腦視覺已經發展好幾十年了,那電腦視覺有三個頂尖的研討會,分別是:

  • CVPR : Conference on Computer Vision and Pattern Recognition

  • ICCV : International Conference on Computer Vision

  • ECCV : European Conference on Computer Vision

而這些研討會每年都會邀請許多大咖來分享技術,像是去年CVPR大會就邀請了特斯拉AI總監Andrej Karpathy和Nvidia自駕的軟體部門的VP等來分享自動駕駛技術,阿財也都會定期follow相關的頂尖論文,以後也都會和大家分享,所以要定期關注阿財的YouTube頻道和DDCAR的文章喔~

言歸正傳,之前我們有提到要實現自動駕駛就必須獲得深度資訊,而上個系列介紹使用光達來獲取車子與待測物之間的距離,那視覺技術呢?

電腦視覺從字面上我們就可以大概聯想,我們人是用眼睛來觀察世界,如今我們希望電腦或機器能夠看到或是感知世界,所以科學家們將傳感器(sensor)與電腦連結,透過傳感器接收到的光子搭配算法讓電腦能夠到世界。

那電腦又是如何利用相機或是攝影機拍攝到的圖片而感知深度呢?

答案藏在我們人的眼睛裡。

相信不少朋友有耳聞,我們之所以能夠感知到深度,多虧了我們兩隻眼睛,人兩隻眼睛因為有瞳距(Pupil distance),所以左眼和右眼看同一個物體其實略有不同,大家可以做個小實驗,輪流用手遮住左眼和右眼並且看同一個物體,會發現到觀察物好像有移動的感覺。

所以透過眼睛看待世界的原理,可以簡單歸類成兩種感知深度的技術:

  • 單目視覺(Monocular vision)

  • 雙目視覺(Stereo vision)

看到這邊大家不要緊張,讓阿財娓娓道來~

單目視覺(單台相機或攝影機)感知深度的方法:

  • 運動結構恢復法(Structure from Motion(SfM))

 運動結構恢復是藉由移動單台相機拍攝同一個物體的不同面,再利用算法對每個面進行匹配進而建構出3D立體的場景。

  • 陰影和紋理推測(Shading and Texture)

陰影和紋理顧名思義就是根據陰影和紋理來推算深度,舉個例子,如下圖的照片中有凸起的山丘和凹下去的湖泊,以我們人的感知來說,凸起來的山丘深度(高度)是要高於凹下去的湖泊。

👉 PIAA 970歐洲通用型軟骨雨刷開箱實測!把30年老車伺候得服服貼貼?同場加映膠條更換暨全系列產品解析!

圖片來源:pixabay

  • 物體遮擋

大家看到下圖兩隻熊大是不是很自然的會覺得刺蝟熊大在海豹熊大前面?因為我們認為刺蝟熊大好像遮擋住海豹熊大了!

圖片來源:阿財自己拍的熊大

  • 幾何透視

如下圖,大家有沒有感覺黃色圓圈的椅子很明顯是在橘色圓圈圈起來的椅子和人前面,因為橘色圓圈圈起來的人和椅子是在整條道路的中間,這就歸功於幾何的透視,我們會感覺道路是朝一個方向越來越小,最終消失在一個點上 。

圖片來源:pixabay

  • 移動拍攝和AI

這兩個方法文字敘述起來比較複雜,建議大家直接看下方的影片介紹,另外上面幾種方法阿財也有搭配文獻進行更詳細的介紹喔(影片從2分開始到10分)

雙目視覺(兩台或多台相機)感知深度的方法:

雙目視覺其實就和我們人眼一樣,下圖兩台相機就像是我們人的兩隻眼睛,b則是瞳距,紅色圈圈起來星星的則是我們要計算的待測物,如果我們計算出相機與待測物之間的距離,我們可以利用以下這些參數:

  • b1是左相機光軸與待測物的距離

  • b2是右相機光軸與待測物的距離

  • f是相機的焦距,

  • D是相機與待測物的距離

  • X1是左相機拍攝到物體在底片上的距離

  • X2是左相機拍攝到物體在底片上的距離

圖片來源:Object distance measurement by stereo vision

接下來搭配國中學的相似三角形,阿財畫的綠色三角形和藍色三角形,比較麻煩的地方是,我們不能確定b1和b2的數值分別是多少,但我們可以知道兩台相機之間的距離(b1+b2),於是整理一下算式最終計算出相機與待測物的距離D,只需要知道相機焦距、兩台相機之間的距離和相機底片的距離(X1和X2)!

PS上面的影片10分到11分15秒裡也有詳細介紹雙目視覺的計算方法喔~

當然到這邊一定有朋友會問說,阿財萬一兩台相機的光軸不是水平的情況怎麼辦?

方法有很多,但萬變不離其宗,就是利用相機校正(camera calibration),大家有興趣的可以去搜尋一下,阿財就不在這邊展開了。

所以不管是單目還雙目的方法,其實都有非常多數學和算法隱藏其中,那阿財下篇文章就要介紹AI是如何結合單目視覺和雙目視覺的方法,來完成大名鼎鼎的Pseudo-LiDAR偽光達,大家敬請期待喔!

👉 更多電動車與油電車:https://autos.yahoo.com.tw/car-topics/EV-and-Hybrid

👉 最新上架汽車車款:https://autos.yahoo.com.tw/latest-cars

👉 最新上架機車車款:https://autos.yahoo.com.tw/latest-bikes

👉 熱門中古車排行(預算40-60萬):https://autos.yahoo.com.tw/popular-used-cars?price_range=40-60

👉 搜尋更多新車規格:https://autos.yahoo.com.tw/new-cars/

👉 更多熱門新車排行:https://autos.yahoo.com.tw/popular-cars

2024年4月新車預告:Harley-Davidson全新24年式車款即將發表!
Mar
29
2024年4月新車預告:Harley-Davidson全新24年式車款即將發表!
Yahoo奇摩汽車機車
進入2024年4月,經過火爆一般的農曆年後新春檔期,經過各家大小汽、機車品牌連袂舉辦媒體春酒,大談今年展望與產品規劃、也不忘順勢帶來新車款發表,以及3月份接續態勢在平價到層峰級市場多有新品發表後,即將到來的4月份還有啥驚喜可期?接著就來一一揭曉!
Kia 小改款 Carnival 來台時間曝光!正七人座 MPV 外觀內裝豪華升級
Mar
26
Kia 小改款 Carnival 來台時間曝光!正七人座 MPV 外觀內裝豪華升級
自由時報汽車頻道
Kia 原廠去年底海外發表小改款 Carnival,近日也出現在車安站審查名單引起討論,而 Kia 總代理台灣森那美起亞則在昨(25)日舉辦的 10 週年活動當中,宣布小改款 Carnival 將於今年第四季抵台,除此之外,小改款 Picanto、Sorento 也有望在今年內現身。
WLTP 續航力上看六百公里,特斯拉 Model Y LR 有望新增更實惠的 RWD 後驅車型
Mar
28
WLTP 續航力上看六百公里,特斯拉 Model Y LR 有望新增更實惠的 RWD 後驅車型
DDCAR電動車
特斯拉 Model Y 目前提供價格最入門的 RWD、續航力最優的 LR 以及性能最強悍的 Perfromance 三車。最新消息顯示特斯拉打算推出基於 Model Y LR 長續航版本衍伸出來的第四種全新車型:Model Y LR RWD,續航力進一步來到 600 公里。
小米SU7真的超便宜 台幣95.6萬就可以擁有高級電動車
Mar
29
小米SU7真的超便宜 台幣95.6萬就可以擁有高級電動車
CarFun玩車誌
科技大廠要做出一輛電動車有多難?蘋果Apple已經示範給你看,他們直接將整個電動車計畫刪除,10年心血付之一炬,但是在中國的小米表示他們做到了,雖然真的很難,可是他們終於發表了SU7,而且價格還非常低,現在有三種不同版本,分別為21.59萬元、24.59萬元以及29.99萬元人民幣,最便宜的台幣...
憑這關鍵「兩實力」!Gogoro Pulse 預約最強白牌電車寶座
Mar
29
憑這關鍵「兩實力」!Gogoro Pulse 預約最強白牌電車寶座
2GameSome
1 月 30 日,Gogoro 無預警發表品牌全新旗艦機種 Pulse,以過往兩輪機車市場經驗法則,無論傳統油車或是新世代電車,旗艦機種通常皆為品牌造車實力展示,話題性高,但銷量往往無法與市場主流的國民機種比擬。但 Pulse 卻在短短兩個多月期間,獲得了超過 1,257 張訂單!到底是何等魅力?在此次...
『影片』以鑽石為名莊重為型,每一分寸皆保留勞斯萊斯氣質:先是勞斯萊斯、其次才是SUV....
Mar
29
『影片』以鑽石為名莊重為型,每一分寸皆保留勞斯萊斯氣質:先是勞斯萊斯、其次才是SUV....
CARLINK鏈車網
當Rolls-Royce的管理階層看到Bentley Bentayga的銷量立即超過了Bentley所有其他車型的銷量總和、或者是Lamborghini Urus在第一年的產量就使車廠的產量翻了一番時,從商業角度來看,再堅持不碰SUV,肯定是Rolls-Royce的最大損失。所以,Cullinan今天出現在我們的試車影片中,同時也展示了奢華...
【一手試駕】成熟新裝 Peugeot 2008 GT Pack
Mar
29
【一手試駕】成熟新裝 Peugeot 2008 GT Pack
車訊網
向來以獨到法式美學著稱的Peugeot自然不會滿足於此,透過小改款工程將新世代家族元素再次融入...
Kia EV6 車主樂翻!高壓大電池免費延保共 9 年 / 18 萬公里,新人舊人統統有福利
Mar
28
Kia EV6 車主樂翻!高壓大電池免費延保共 9 年 / 18 萬公里,新人舊人統統有福利
DDCAR電動車
Kia 總代理台灣森那美起亞在昨天 3/27 發布了一個大消息,表示今年 3/31 前領牌的 EV6 車主均可獲得額外一年高壓電池保固,而且溯及既往,過去二年超過 1600 位的 EV6 老車主也可享有。
首度展出事故報廢電動車,實車呈現毫秒間守護車主。VOLVO《守護的力量》AI 體驗特展登場!
Mar
29
首度展出事故報廢電動車,實車呈現毫秒間守護車主。VOLVO《守護的力量》AI 體驗特展登場!
CARLINK鏈車網
VOLVO 為向台灣眾多車迷朋友展示 VOLVO 在車輛安全與科技的獨到之處,特別舉辦 VOLVO《守護的力量》AI 體驗特展,串聯四大展區分享守護生命安全的品牌理念,顯示 VOLVO 在安全工藝努力不懈的最佳實證。 VOLVO《守護的力量》AI 體驗特展,現場展出一部因嚴重事故報廢的 XC40 Recharge,讓車迷...
藍寶堅尼採用全新廠徽 平面化設計加上更柔和的金色擁抱極簡主義
Mar
29
藍寶堅尼採用全新廠徽 平面化設計加上更柔和的金色擁抱極簡主義
CarFun玩車誌
義大利超跑品牌Lamborghini藍寶堅尼擁有著引人注目的銳利外觀,甚至有人會用傲慢來形容這個品牌,而現在他們在廠徽部分有了更新,這是他們20幾年來首次經歷企業形象轉變,雖然對於該品牌較不熟悉的人會覺得長得一樣,畢竟包含了整個盾牌著造型、圖案幾乎都是相同的,而改採更加平面化的設計風...
Volkswagen開發RooBadge袋鼠廠徽,避免袋鼠與車事故
Mar
29
Volkswagen開發RooBadge袋鼠廠徽,避免袋鼠與車事故
Carture 車勢文化
在澳洲郊區不時都會有袋鼠衝出,當然也造成了不少事故,導致車損袋鼠死兩敗俱傷結果,對此Volkswagen便開發RooBadge袋鼠廠徽,於廠徽額外裝置音頻發射器,藉以驅趕袋鼠避免事故。澳洲郊區不時都會有袋鼠闖至道路,由於太過突然因此結果就是造成車輛受損,袋鼠自身也身受重傷或死亡,為了避免...
廠慶60周年第一彈!KYMCO推出多功能車款Dollar「大樂」車系及Many EV馬卡龍特仕版,同步登場168元「哩多惠」超低電池資費方案!
Mar
29
廠慶60周年第一彈!KYMCO推出多功能車款Dollar「大樂」車系及Many EV馬卡龍特仕版,同步登場168元「哩多惠」超低電池資費方案!
Yahoo奇摩汽車機車
KYMCO近來可說動作頻頻,在今年3月初以「新豪邁125」和「大地名流125」的均一價49,800元(不含牌險)策略衝擊平價摩托車市場造成搶購。在今日更推出全新車款Dollar大樂車系以及Many EV Macaron特仕版。本次發表會除了董事長宣布KYMCO 60周年將會有更多令人期待的車款登場外,更邀請李多慧為目...
2024 BMW X2大改款、iX2正式登台!含純電三規格225萬起強勢衝擊市場!
Mar
28
2024 BMW X2大改款、iX2正式登台!含純電三規格225萬起強勢衝擊市場!
Yahoo奇摩汽車機車
不諱言的是當咱們看過了大改款Mini Countryman的登台、作為雙生車本家作的BMW X2自然也不會離得太遠,在2023年日本移動展正式發表、代號U10的大改款BMW X2挾著全新風貌外型與更開闊便利的設定,全新動力規格與新世代電子系統,由總代理汎德以225萬起宣告正式在台發表。
小米揭曉其首款電動車SU7系列車款於中國市場售價,約新台幣95.54萬元起跳
Mar
28
小米揭曉其首款電動車SU7系列車款於中國市場售價,約新台幣95.54萬元起跳
Mashdigi
如先前預告,小米正式揭曉其首款電動車SU7系列車款於中國市場售價,確定將以人民幣21.59萬元 (約新台幣95.54萬元)起跳價格銷售,預計從即日起開放預定,在4月底完成預定將額外提供車載冰箱、真皮座椅和豪華音響等配件,並且額外小米智駕Pro功能。
鎖定中部峰層客群消費實力,McLaren 台中旗艦展示中心正式落成!
Mar
28
鎖定中部峰層客群消費實力,McLaren 台中旗艦展示中心正式落成!
Yahoo奇摩汽車機車
被譽為超跑三天王之一的英國車廠McLaren,繼台北、高雄兩地展示中心與服務據點接連落成之後,如今台灣總代理永三汽車也進一步將目標鎖定在中部峰層客群,在今日(3/28)宣布位於台中市西屯區的McLaren台中展示暨服務中心正式開幕,不只完成北、中、南三地完善的服務網絡,亦規劃有完整的汽車...
McLaren Artura V6 Hybrid 2025,中置引擎油電混合超跑竟然很適合天天開
Mar
29
McLaren Artura V6 Hybrid 2025,中置引擎油電混合超跑竟然很適合天天開
CarStuff 人車事
Written by: 楊欣儒 Yang Hsin-Ju受品牌方邀請參加超跑試駕活動,本來在這個車媒行業看似容易,實則需要好好珍惜。因為超跑品牌挑選試駕媒體除了專業度以外,也看媒體的性質是否搭配。時尚與生活更是超跑品牌走入與時尚精品一樣考慮受眾與閱讀對像的關鍵。
大型重機車主福音 北市4/1起將選這2地點試辦「機車與大重機共用格位」
Mar
28
大型重機車主福音 北市4/1起將選這2地點試辦「機車與大重機共用格位」
台灣好新聞
騎乘大型重型機車的車友們,有機會不必再為市區停車傷腦筋了!台北市府停車管理工程處今(28)日宣布,為提升停車空間使用效率、維持停車秩序與改善違停現象,將正式於2024年4月1日起,於杭州南路1段24號(交通部會議中心前)及徐州路2號(台大護理學院前)等2處地點機車停車格,試辦「機車與...
清明節車流恐創歷史新高!國道好走與高乘載時段曝光
Mar
29
清明節車流恐創歷史新高!國道好走與高乘載時段曝光
TVBS新聞網
清明節連假即將到來,根據高速公路局的預估,今年的清明節連假交通情況將有南向和北向尖峰時段。高公局建議民眾在連假期間多搭乘大眾運輸,或者若需自行開車,則建議利用替代道路行駛。此外,高公局也規劃在特定時間段實施高乘載管制,希望能有效疏導交通。民眾可透過「高速公路1968App」查詢...
電價調漲可能影響電動車銷量?網友點出「馬力課稅」才是關鍵
Mar
28
電價調漲可能影響電動車銷量?網友點出「馬力課稅」才是關鍵
地球黃金線
隨著環保意識抬頭,不少國家為推廣電動車普及化紛紛祭出不同優惠,給予電動車諸如免停車費、免牌照稅或充電價格優惠等措施。而長期充電費用較加油費用划算,也成為許多車主換車主因,然而,國內最近傳出電價即將調漲的民生政策,就引來網友好奇,詢問:「電價調漲是否會影響電動車銷售」。
【改裝實戰】Subaru WRX Wagon女力爆發(下) 能該都改、破百萬改裝費
Mar
29
【改裝實戰】Subaru WRX Wagon女力爆發(下) 能該都改、破百萬改裝費
車訊網
在外觀部分,目前這部車主要是盡可能日規化+日本正品改裝套件為主要風格,為此先將...