無(wú)人機(jī)、智慧汽車、擴(kuò)增實(shí)境或虛擬實(shí)境（AR/VR）頭戴式裝置都使用多個(gè)圖像感測(cè)器，而且通常是用不同類型的感測(cè)器來(lái)採(cǎi)集周邊環(huán)境相關(guān)的資料。為了傳輸系統(tǒng)所需的圖像資料，每個(gè)感測(cè)器都需要連接到系統(tǒng)的應(yīng)用處理器（AP），這為嵌入式工程師帶來(lái)了諸多設(shè)計(jì)挑戰(zhàn)。
首先，AP可連接的感測(cè)器I/O埠數(shù)量有限，所以必須謹(jǐn)慎分配，確保所有需要連接至AP的獨(dú)立元件都有埠可用。此外，無(wú)人機(jī)和AR/VR頭戴式裝置體積相對(duì)較小並且使用電池供電，所以這些應(yīng)用中的元件尺寸必須盡可能小，功耗盡可能低。
解決應(yīng)用處理器I/O埠不足的方法之一是使用MIPI攝影機(jī)序列介面-2（CSI-2）規(guī)範(fàn)中定義的虛擬通道，它能夠?qū)⒍噙_(dá)16個(gè)感測(cè)器資料串流整合為單個(gè)資料串流，僅佔(zhàn)用一個(gè)I/O埠就能將資料發(fā)送到AP。實(shí)現(xiàn)虛擬通道的首選硬體平臺(tái)是現(xiàn)場(chǎng)可程式化邏輯閘陣列（FPGA）。其他的硬體平臺(tái)則需要很長(zhǎng)時(shí)間來(lái)設(shè)計(jì)，並且可能無(wú)法滿足無(wú)人機(jī)或AR/VR頭戴式裝置等應(yīng)用所需的低功耗特性。可能有人會(huì)說(shuō)FPGA佔(zhàn)用空間太大、功耗太高，作為虛擬通道的平臺(tái)不太可行。然而，半導(dǎo)體設(shè)計(jì)和製造方面的進(jìn)步已經(jīng)催生出新一代尺寸更小、功耗更低的FPGA。
行業(yè)現(xiàn)狀
消費(fèi)領(lǐng)域?qū)o(wú)人機(jī)、智慧汽車和AR/VR頭戴式裝置等產(chǎn)品的需求與日俱增，極大推動(dòng)了感測(cè)器市場(chǎng)的發(fā)展。市場(chǎng)研究機(jī)構(gòu)Semico Research認(rèn)為汽車（年均複合增長(zhǎng)率27%）、無(wú)人機(jī)（年均複合增長(zhǎng)率27%）和AR/VR頭戴式裝置（年均複合增長(zhǎng)率166%）等應(yīng)用是推動(dòng)感測(cè)器市場(chǎng)增長(zhǎng)的主要?jiǎng)恿Γ瑏K預(yù)測(cè)截至2022年，半導(dǎo)體OEM廠商每年的圖像感測(cè)器出貨量將超過(guò)15億片。
上述應(yīng)用均需要多個(gè)感測(cè)器採(cǎi)集環(huán)境資料。例如一輛智慧汽車會(huì)在後視和環(huán)視攝影機(jī)系統(tǒng)中使用多個(gè)高清圖像感測(cè)器，使用雷射雷達(dá)感測(cè)器用於目標(biāo)偵測(cè)，使用雷達(dá)感測(cè)器實(shí)現(xiàn)盲點(diǎn)監(jiān)控。
| 圖1 : 如今的智慧汽車需要各類感測(cè)器（雷達(dá)／光學(xué)雷達(dá)、圖像、ToF感測(cè)器等）實(shí)現(xiàn)緊急?車、後視攝影機(jī)和碰撞規(guī)避等應(yīng)用。 |
|
感測(cè)器數(shù)量激增也帶來(lái)了難題，因?yàn)樗羞@些感測(cè)器都需要向汽車的AP發(fā)送資料，而AP的I/O埠數(shù)量有限。感測(cè)器變多還會(huì)增加設(shè)備電路板上連接到AP的線路密度，對(duì)於頭戴式裝置這樣的小型設(shè)備而言，無(wú)疑在設(shè)計(jì)尺寸方面帶來(lái)了更多挑戰(zhàn)。
解決應(yīng)用處理器I/O埠不足的一個(gè)方法是使用虛擬通道。它能夠?qū)⒍鄠€(gè)感測(cè)器的影像串流整合為單個(gè)資料串流，然後僅佔(zhàn)用一個(gè)I/O埠就能將資料發(fā)送到AP。目前將攝影機(jī)感測(cè)器連接至AP的常用標(biāo)準(zhǔn)是由MIPI聯(lián)盟開(kāi)發(fā)的MIPI攝影機(jī)序列介面-2（CSI-2）。CSI-2 可以通過(guò)CSI-2虛擬通道功能，將多達(dá)16個(gè)不同的資料串流整合為單個(gè)資料串流。然而將多個(gè)不同類型的圖像感測(cè)器的資料串流合併為單個(gè)影像串流仍然面臨多方面的挑戰(zhàn)。
實(shí)現(xiàn)虛擬通道面臨的挑戰(zhàn)
將來(lái)自同種感測(cè)器的資料合併到一個(gè)通道中並不複雜。兩個(gè)感測(cè)器可以進(jìn)行同步並將其資料串流連接，作為一張寬度為兩倍的圖像發(fā)送到AP。主要的挑戰(zhàn)在於合併不同感測(cè)器的資料串流。例如，無(wú)人機(jī)可以在白天工作時(shí)使用高解析度圖像感測(cè)器偵測(cè)物體，在晚上使用較低解析度的紅外線感測(cè)器來(lái)採(cǎi)集物體的熱成像以偵測(cè)物件。這些感測(cè)器的畫(huà)面播放速率、解析度和頻寬各不相同，無(wú)法同步。為了追蹤不同的影像串流，每個(gè)CSI-2資料包需要用虛擬通道識(shí)別碼進(jìn)行標(biāo)記，方便AP根據(jù)需要處理每個(gè)資料包。
| 圖2 : 虛擬通道將來(lái)自多個(gè)不同類型感測(cè)器的資料串流合併以節(jié)約I/O埠，處理來(lái)自不同感測(cè)器的資料串流，需要同步時(shí)脈速率和輸出頻率。 |
|
除了標(biāo)記資料包之外，合併來(lái)自不同類型感測(cè)器的資料串流，還需要同步感測(cè)器資料有效負(fù)載。如果感測(cè)器以不同的時(shí)脈速率運(yùn)行，則每個(gè)感測(cè)器需要保持單獨(dú)的時(shí)鐘域。然後在傳輸?shù)紸P之前將這些時(shí)鐘域進(jìn)行同步。
虛擬通道需要專門(mén)的硬體橋接處理
通過(guò)硬體實(shí)現(xiàn)支援虛擬通道的橋接解決方案可以解決上述問(wèn)題。使用專用的虛擬通道橋接意味著所有圖像感測(cè)器都連接到橋接I/O埠，然後再通過(guò)單個(gè)埠連接到AP，釋放寶貴的AP埠以支援其他週邊元件。這也解決了設(shè)備電路板上感測(cè)器與AP之間存在過(guò)多連接而產(chǎn)生的設(shè)計(jì)尺寸難題；橋接方案將這些線路合併連接到AP。
| 圖3 : 為了最大限度地減少連接感測(cè)器和AP的I/O埠，支援虛擬通道的硬體橋接方案整合了多個(gè)感測(cè)器資料串流，通過(guò)單個(gè)I/O埠進(jìn)行傳輸。 |
|
FPGA可以為每個(gè)感測(cè)器輸入實(shí)現(xiàn)並行的資料通道，每個(gè)通道都有自己的時(shí)鐘域。如圖3所示，這些時(shí)鐘域在虛擬通道的合併階段同步，從而減輕了AP的處理負(fù)擔(dān)。
基於PLD的虛擬通道硬體的優(yōu)點(diǎn)
在硬體上實(shí)現(xiàn)虛擬通道，F(xiàn)PGA是最可靠的IC平臺(tái)。FPGA具有靈活的I/O埠，可支援各種介面，並且擁有可以使用硬體描述語(yǔ)言（如Verilog）程式設(shè)計(jì)的大型邏輯陣列。與需要冗長(zhǎng)設(shè)計(jì)和QA流程的ASIC不同，F(xiàn)PGA在生產(chǎn)時(shí)已通過(guò)QA驗(yàn)證，可以在幾天或幾周內(nèi)完成設(shè)計(jì)。然而人們通常認(rèn)為傳統(tǒng)的FPGA體積龐大，耗電量高，並不適合功耗有限的嵌入式應(yīng)用。但FPGA已今非昔比。
萊迪思半導(dǎo)體的CrossLink系列FPGA為使用虛擬通道的影像橋接應(yīng)用提供了性能、尺寸和功耗的組合。該系列可提供兩個(gè)4通道MIPI D-PHY收發(fā)器，每個(gè)PHY速率高達(dá)6 Gbps，尺寸最小僅為6 mm2。它們支援多達(dá)15個(gè)可程式化設(shè)計(jì)源同步差分I/O對(duì)，如MIPI-D-PHY、LVDS、sub-LVDS，甚至單端並行CMOS；在許多應(yīng)用中功耗不到100 mW。CrossLink FPGA系列支援睡眠模式，減少待機(jī)時(shí)的功耗。萊迪思還提供全面的軟體IP函式庫(kù)，協(xié)助客戶更快地實(shí)現(xiàn)不同類型的橋接解決方案。
總結(jié)
MIPI攝影機(jī)序列介面-2（CSI-2）規(guī)範(fàn)的虛擬通道可協(xié)助嵌入式工程師在單個(gè)I/O埠上整合多個(gè)感測(cè)器資料串流，從而減少使用大量圖像感測(cè)器應(yīng)用的總體設(shè)計(jì)尺寸和功耗。憑藉著可重新程式設(shè)計(jì)特性以及性能和尺寸上的優(yōu)勢(shì)，萊迪思半導(dǎo)體的CrossLink系列低功耗FPGA可以讓客戶快速、輕鬆地為其設(shè)計(jì)新增對(duì)虛擬通道的支援。
