今天的許多成像系統(tǒng)，例如用于安全和監(jiān)控、零售自動(dòng)化和自動(dòng)駕駛汽車的成像系統(tǒng)，都部署了帶有基于幀的圖像傳感器的攝像頭。當(dāng)與卷積神經(jīng)網(wǎng)絡(luò)配合使用時(shí)，可以部署這些攝像頭來(lái)識(shí)別和分類物體，包括人、動(dòng)物、車輛、道路標(biāo)志和各種其他障礙物。
然而，這樣的系統(tǒng)通常成本高昂，并且需要高能耗的CPU或者GPU。另外，利用基于幀的傳感器的攝像頭以預(yù)定的幀率捕獲視覺(jué)信息，無(wú)論場(chǎng)景中是否存在任何實(shí)際的動(dòng)態(tài)變化，每個(gè)幀傳送來(lái)自傳感器的所有像素信息，同時(shí)對(duì)它們進(jìn)行均勻采樣，這增加了圖像處理的數(shù)據(jù)吞吐量要求。
為了尋求一種需要更少功率和更少數(shù)據(jù)的方法，位于美國(guó)加州圣地亞哥的初創(chuàng)公司Kelzal開(kāi)發(fā)了基于事件的傳感器，并將其稱為“感知設(shè)備”，其利用第三代神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別和分類應(yīng)用，目前有兩種型號(hào)可供選擇。
“設(shè)計(jì)這些系統(tǒng)的靈感來(lái)自于大腦的工作方式，以及人類和哺乳動(dòng)物的視覺(jué)系統(tǒng)的工作原理。”Kelzal公司首席技術(shù)官、創(chuàng)始人兼臨時(shí)首席執(zhí)行官Olivier Coenen說(shuō)，“我們正在努力想出一種更有效的方法來(lái)處理機(jī)器和計(jì)算機(jī)的視覺(jué)信息。這就是我們開(kāi)發(fā)這些產(chǎn)品的原因?！?/span>
Kelzal公司的傳感器利用基于事件的成像原理，其中圖像傳感器僅跟蹤場(chǎng)景中的變化，傳感器不會(huì)傳輸在攝像頭視場(chǎng)中保持不變的任何事物。它與傳統(tǒng)攝像頭不同，沒(méi)有幀，每當(dāng)單個(gè)像素中光強(qiáng)發(fā)生變化時(shí)，它就會(huì)累積。
當(dāng)強(qiáng)度超過(guò)某個(gè)閾值時(shí)，攝像頭系統(tǒng)給出二進(jìn)制數(shù)值的響應(yīng)，用于識(shí)別強(qiáng)度變化的正和負(fù)。
根據(jù)Coenen的說(shuō)法，該公司開(kāi)發(fā)的“快速”識(shí)別系統(tǒng)，即該超快感知設(shè)備，可以在不需要特殊設(shè)備（例如高帶寬硬盤驅(qū)動(dòng)器）的情況下記錄子彈的軌跡，并且可以在捕獲數(shù)據(jù)時(shí)進(jìn)行處理。
“基于事件成像的主要優(yōu)勢(shì)是，在檢測(cè)和跟蹤應(yīng)用中，這種傳感器能夠以比‘采用基于幀的圖像傳感器的攝像頭’快1000倍的速度捕獲運(yùn)動(dòng)圖像。”Coenen說(shuō)，“對(duì)于像自動(dòng)駕駛汽車這樣的應(yīng)用來(lái)說(shuō)，這是一項(xiàng)既有用而且又非常必要的性能?！?/span>
“快速”識(shí)別系統(tǒng)基于100萬(wàn)像素CMOS圖像傳感器，瞄準(zhǔn)自動(dòng)駕駛汽車和機(jī)器人應(yīng)用中的物體識(shí)別和分類。該超低功耗的感知設(shè)備基于QVGA CMOS圖像傳感器，運(yùn)行時(shí)通常只需幾個(gè)毫瓦、甚至更低的功率。據(jù)報(bào)道，這些系統(tǒng)專為監(jiān)控和零售自動(dòng)化而設(shè)計(jì)，可使用單個(gè)CRV3電池運(yùn)行多年。
與這些傳感器組合的是FPGA或神經(jīng)處理器，這是一種設(shè)計(jì)用于加速神經(jīng)網(wǎng)絡(luò)相關(guān)算法的處理器，神經(jīng)網(wǎng)絡(luò)軟件在該處理器上運(yùn)行。Kelzal公司開(kāi)發(fā)了用于神經(jīng)網(wǎng)絡(luò)對(duì)象和活動(dòng)識(shí)別的專利算法。
Coenen表示，雖然“快速”識(shí)別系統(tǒng)利用現(xiàn)有的高速、基于事件的傳感器，但是該超低功耗設(shè)備基于學(xué)術(shù)界開(kāi)發(fā)的一種新技術(shù)，專注于降低功耗。
“超低功耗像素的設(shè)計(jì)與傳統(tǒng)的基于幀的攝像頭的設(shè)計(jì)不同，也不同于基于事件的視覺(jué)傳感器?！盋oenen說(shuō)道，“典型的基于事件的傳感器在每個(gè)像素處都有一個(gè)放大器，這使得我們可以非常迅速地做出回應(yīng)?！?/span>
“要保持放大器工作，你需要電源，它會(huì)占用像素周圍的空間。超低功耗方法不使用連續(xù)放大器。這種方法采用其他技術(shù)，大大降低了功率。最終獲得的像素大小是我們今天所知的最小像素之一?！盋oenen解釋說(shuō)。
Kelzal公司最近獲得300萬(wàn)美元的種子融資，由位于美國(guó)加州Redwood City 的Motus Ventures公司擔(dān)保并領(lǐng)導(dǎo)，用于攝像頭的商業(yè)化和部署。
作為此項(xiàng)融資的一部分，位于美國(guó)加州圣何塞的Avaak公司（現(xiàn)為Arlo公司）的前創(chuàng)始人兼首席執(zhí)行官，當(dāng)前流行的無(wú)線、電池供電智能家居攝像頭的發(fā)明者Gioia Messinger，加入Kelzal公司董事會(huì)，并將作為執(zhí)行顧問(wèn)參與公司的日常活動(dòng)。
“通過(guò)這些傳感器，我們專注于特定的市場(chǎng)和應(yīng)用，因?yàn)槲覀冋J(rèn)為它們將在早期產(chǎn)生最大的影響?！盋oenen說(shuō)，“但是在未來(lái)，我認(rèn)為像這樣的基于事件的傳感器甚至可以在很多應(yīng)用中取代許多傳統(tǒng)的基于幀的攝像頭?！?/span>
“只要機(jī)器必須具有視覺(jué)感知功能，這種基于事件的傳感器都將成為視覺(jué)處理的一個(gè)不可或缺的組成部分?！盋oenen總結(jié)說(shuō)。