2003年，動物學家埃裡克·沃蘭特接到了豐田汽車公司的意外合作邀請電話。
豐田渴望幫助駕駛員在夜間更好地看清道路。大多數行人死亡事故都發生在夜間，因為行人難以被發現（酒精消費也可能是造成這一統計數字的原因）。該公司正處於考慮無人駕駛汽車的早期階段，這將需要攝像頭不僅在白天而且在夜間也能看清道路和標誌。沃蘭特的專長是昆蟲的夜視能力，這家汽車製造商想知道隆德大學的這位科學家是否可以幫助他們開發受生物學啟發的夜視技術。
隆德大學的數學家之一亨裡克·馬爾姆指出，標準紅外夜視技術在道路上存在問題，沃蘭特為該專案招募了他。例如，一些夜視攝像頭用紅外光照亮場景，並利用其反射來構成影像。這可能適用於一輛汽車在黑暗的十字路口發現行人，但如果兩輛汽車在夜間沿著街道相向駛來，都發出紅外光束，它們只會使彼此的攝像頭失明。此外，紅外攝像頭無法捕捉顏色，這對於彩色交通標誌來說是一個問題。
關於支援科學新聞業
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞業 訂閱。透過購買訂閱，您將有助於確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
沃蘭特和他的同事們瞭解到，夜間活動的動物使用的一個技巧是總結它們的視覺輸入，以兩種不同的方式將傳入的光訊號加在一起，從而感知更明亮的影像。動物的大腦可以將多個相鄰光感受器觸發的光訊號組合起來，也可以將數毫秒內傳入的多個訊號加起來。馬爾姆著手設計一種演算法，該演算法將對數碼相機的影像執行相同的操作。這個概念非常簡單：組合來自多個畫素的入射光，並將過去幾毫秒內傳入的訊號相加。
但這對於計算機來說需要處理大量的數字，而且為了讓攝像頭對駕駛員有所幫助，它必須即時提供影像。“最大的挑戰是使其足夠快，”馬爾姆說。他和另一位隆德大學數學家馬格努斯·奧斯卡森編寫了一個程式，該程式可以在圖形卡（當時在典型相機中不是標準配置）上快速處理影像，該圖形卡並行執行計算，因此速度更快。
奧斯卡森指出，研究人員克服的另一個挑戰是，攝像頭和相關演算法必須快速適應不斷變化的條件，例如車速和外部光照水平。在低速時，隨時間推移彙集訊號效果很好，但在駕駛員踩下油門時，可能會使影像過於模糊。
十多年前，科學家們駕駛他們的測試攝像頭在瑞典鄉村和豐田汽車歐洲總部布魯塞爾周圍的街道上行駛。“儘管一切都有些粗糙——而且有點遲鈍，”沃蘭特說，“但該演算法的表現令人難以置信地出色。這就像有人打開了燈一樣。”
豐田汽車歐洲研究與開發中心的人工智慧和自動駕駛高階經理喬納斯·安貝克-馬德森稱結果“非常棒”。雖然豐田尚未明確說明將如何處理奧斯卡森和馬爾姆的演算法，但安貝克-馬德森表示，這當然可以應用於該公司想要製造的汽車。