雙目視覺ADAS芯片-S32V234

　　S32V234采用了4顆ARM Cortex A53作為CPU，以獲得更高的性能功耗比。利用一顆ARM Cortex M4作為片上MCU，用于關(guān)鍵IO（如CAN-FD）的實(shí)時控制，并支持AutoSAR操作系統(tǒng)。芯片內(nèi)部包含可編程的圖像信號處理器（ISP），所以配搭的圖像傳感器可以輸出raw data，從而降低物料成本，節(jié)省空間尺寸。

　　另外，芯片還包含了兩個名為APEX2CL的視覺加速引擎。每個APEX2CL擁有64個本地計算單元（CU），并配有本地內(nèi)存和專用DMA，通過SIMD/MIMD（單指令多數(shù)據(jù)/多指令多數(shù)據(jù)）方式對圖像識別過程進(jìn)行加速。

　　另外值得指出的是，考慮到ADAS系統(tǒng)對安全性和可靠性的嚴(yán)苛需求，S32V234在設(shè)計時加入了諸如ECC（錯誤檢查與糾正），F(xiàn)CCU（故障收集與控制單元），M/L BIST（內(nèi)存/邏輯內(nèi)置自測）等多種安全機(jī)制，能夠滿足ISO26262 ASIL B~C的需求。

　　雙目視覺ADAS的優(yōu)勢

　　相比于單目視覺，雙目視覺（Stereo Vision）的關(guān)鍵區(qū)別在于可以利用雙攝像頭從不同角度對同一目標(biāo)成像，從而獲取視差信息，推算目標(biāo)距離。具體到視覺ADAS應(yīng)用來說，如果采用單目攝像頭，為了識別行人和車輛等目標(biāo)，通常需要大規(guī)模的數(shù)據(jù)采集和訓(xùn)練來完成機(jī)器學(xué)習(xí)算法，并且難以識別不規(guī)則物體；而利用毫米波雷達(dá)和激光雷達(dá)進(jìn)行測距的雖然較高，但是成本和難度亦較高。

　　雙目視覺的優(yōu)勢在于維持開發(fā)成本較低的前提下，實(shí)現(xiàn)一定的目標(biāo)識別和測距，完成FCW（前方碰撞預(yù)警）等ADAS功能。

　　雙目視覺測距的基本原理如圖2所示：目標(biāo)點(diǎn)P在兩個相機(jī)中的視差為d=EC+DF，根據(jù)三角形的相似性，推導(dǎo)可得距離z=（fq）/d。其中焦距f和相機(jī)光軸距離q可認(rèn)為是固定參數(shù)，所以求出視差信號d即可求得距離z。

　　雙目視覺的測距步驟

　　相機(jī)標(biāo)定

　　圖像獲取

　　圖像預(yù)處理

　　特征提取與立體匹配

　　三維重構(gòu)

　　其中，相機(jī)標(biāo)定是為了得到相機(jī)的內(nèi)外參數(shù)和畸變系數(shù)等，可以離線進(jìn)行；而左右相機(jī)圖像獲取的同步性，圖像預(yù)處理的質(zhì)量和一致性，以及立體匹配（獲取視差信息）和三維重構(gòu)（獲取距離信息）算法的實(shí)時性要求帶來的巨大運(yùn)算量，對在嵌入式平臺上實(shí)現(xiàn)雙目視覺ADAS提出了挑戰(zhàn)。
  雙目視覺ADAS的應(yīng)用

　　S32V234芯片上具有兩路MIPI-CSI2相機(jī)接口，每一路可提供6Gbps的傳輸速率，可用于左右兩路相機(jī)的視頻輸入。由于兩路相機(jī)分別輸入兩個MIPI通道，需要考慮二者之間的同步問題。在外部圖像傳感器的配合下，S23V324能夠支持不同的同步方式。如圖3所示，圖像傳感器通常具有場同步信號（VSYNC）和行同步信號（HSYNC）來進(jìn)行信號同步：

　　⊿ 當(dāng)兩路相機(jī)工作在主從模式時，由Master向Slave發(fā)送同步信號

　　⊿ 當(dāng)兩路相機(jī)都工作在從模式時，可由S32V234內(nèi)部定時器產(chǎn)生同步信號，同時發(fā)送給兩路相機(jī)。

　　在S32V234獲取外部相機(jī)的圖像信號后，可以由內(nèi)部的ISP進(jìn)行預(yù)處理。ISP模塊包含多個內(nèi)部處理單元，利用片上SRAM對輸入信號和中間結(jié)果進(jìn)行緩存，并采用專用協(xié)處理器來管理ISP處理單元的時序，從而實(shí)現(xiàn)流水線式的ISP處理。內(nèi)置ISP不僅能夠節(jié)省雙路相機(jī)的成本，且其運(yùn)算資源和帶寬能夠支持對雙路高清圖像信號的實(shí)時處理，保證了雙路圖像信號的質(zhì)量和一致性。

　　雙目視覺ADSA的解決方案

　　在雙目視覺ADAS應(yīng)用中，的挑戰(zhàn)來自于對兩路圖像進(jìn)行立體匹配和三維重構(gòu)所需要的巨大運(yùn)算量。以FCW應(yīng)用為例，既要求視差信號的提取具有足夠的以保證測距，又要求處理幀頻維持一定水平以保證預(yù)警的響應(yīng)速度，因此要求嵌入式平臺具有足夠的處理能力。

　　S32V234中集成的圖像加速引擎APEX2的結(jié)構(gòu)如圖4所示，其并行計算結(jié)構(gòu)，本地內(nèi)存和專用DMA等設(shè)計保證了對圖像信號具有極高的處理效率。ISP對圖像信號預(yù)處理完畢后送入DDR，APEX2引擎將圖像分割后經(jīng)由專用DMA將其送入每個CU對應(yīng)的本地內(nèi)存CMEM中，而立體匹配所需要的塊匹配（Block Matching）等算法可以在不同的CU中并行處理，處理完畢后的數(shù)據(jù)經(jīng)由DMA送回DDR，由CPU進(jìn)行進(jìn)一步處理（如生成預(yù)警信號），或送至專門的DCU（Display Control Unit）模塊輸出顯示。

　　綜上所述，基于S32V234的雙目視覺應(yīng)用數(shù)據(jù)流如圖5所示。在該應(yīng)用中，數(shù)據(jù)流按照ISP-APEX2-DCU的方向流動，A53作為主控CPU完成邏輯控制和必要的數(shù)據(jù)處理。通過這種流水線式的處理方式，可以使各部分計算資源充分利用。

　　利用S32V234開發(fā)板搭建雙目視覺平臺，對雙路720p@30fps視頻信號進(jìn)行處理，其輸出結(jié)果如圖6所示。其中從左至右的三幅圖中目標(biāo)與相機(jī)的距離分別為1m，2m，3m，顯示結(jié)果以冷暖色調(diào)的變化表征目標(biāo)距離。

　　結(jié)果表明，S32V234能夠?qū)﹄p目視覺信號進(jìn)行實(shí)時處理，正確得到三維測距結(jié)果，同時輔以芯片的各項(xiàng)安全性設(shè)計，可以滿足雙目視覺ADAS系統(tǒng)的需求。

　　總結(jié)
　　恩智浦的視覺ADAS專用芯片S32V234集成了圖像信號處理器ISP，圖形加速引擎APEX2，3D GPU等專用計算單元，通過流水線式的處理架構(gòu)使各個異構(gòu)計算資源充分利用。不同計算模塊對OpenCV ，OpenCL和OpenVG等多種API的支持增強(qiáng)了算法的可移植性。符合ISO26262標(biāo)準(zhǔn)的功能安全設(shè)計使得芯片能夠滿足ADAS系統(tǒng)對安全性的嚴(yán)苛需求。S32V234支持包括雙目視覺在內(nèi)的多種視覺ADAS和傳感器數(shù)據(jù)融合解決方案，使得我們在通往無人駕駛的道路上邁出堅實(shí)的一步。