全球IP矽智財(cái)授權(quán)廠商Arm宣布推出全新Arm Mali-C52 與Mali-C32影像訊號(hào)處理器(ISP)，藉由完整的解決方案提供最高的影像品質(zhì)，實(shí)現(xiàn)智慧連網(wǎng)裝置即時(shí)處理更高畫質(zhì)影像的需求。

全新Arm ISP技術(shù)打造更銳利的數(shù)位之眼

在人類五種感官中，視覺是演化程度最高、感受最豐富的感官，由超過200萬條神經(jīng)纖維，將視網(wǎng)膜的訊息傳送到大腦。而過去數(shù)十年來，數(shù)位世界一直致力於超越我們自身的視覺處理能力。創(chuàng)造「數(shù)位之眼」處理即時(shí)的高畫質(zhì)影像，讓觀看者真實(shí)感受環(huán)境的狀況，是Arm的生態(tài)系統(tǒng)致力於推向一兆臺(tái)聯(lián)網(wǎng)裝置時(shí)所面臨的眾多挑戰(zhàn)之一。

Arm預(yù)測在所有連網(wǎng)裝置中，物聯(lián)網(wǎng)裝置對(duì)於嵌入式視覺功能需求最為殷切，安全(監(jiān)控)與IP攝影機(jī)市場預(yù)計(jì)到2021年的年成長率將達(dá)到20%，屆時(shí)出貨量可望超過5億臺(tái)。個(gè)人機(jī)器人年成長率達(dá)75%，預(yù)計(jì)到2021年出貨量將成長到200萬臺(tái)。智慧家庭市場預(yù)計(jì)到2021年之前，年成長率可望達(dá)14%，規(guī)模將成長到8,800萬臺(tái)，而其他包括無人機(jī)、AR/MR設(shè)備、以及運(yùn)動(dòng)攝影機(jī)等裝置，將從新興裝置演變成大眾化的產(chǎn)品。

將感知轉(zhuǎn)譯成畫素

上述裝置所採用的影像技術(shù)中，其中一個(gè)關(guān)鍵環(huán)結(jié)就是嵌入在裝置內(nèi)的ISP技術(shù)。在這些受到諸多限制的裝置中，ISP的關(guān)鍵功能是在擷取影像感測器的訊號(hào)，然後處理每個(gè)畫素時(shí)，提供最精準(zhǔn)與最高畫質(zhì)的影像，特別是涉及到機(jī)器學(xué)習(xí)的作業(yè)。

全新Arm Mali-C52 與Mali-C32對(duì)每個(gè)畫素進(jìn)行超過25個(gè)處理步驟，其中三項(xiàng)關(guān)鍵步驟對(duì)影像輸出品質(zhì)起了決定性的影響，這些步驟包括高動(dòng)態(tài)範(fàn)圍(HDR)、雜訊抑制、以及色彩管理。藉由結(jié)合Arm引領(lǐng)市場的Iridix技術(shù)以及其他領(lǐng)先業(yè)界的演算法，用來消除雜訊以及管理色彩， Mali-C52 與Mali-C32 ISP能有效率地在高解析度以及即時(shí)處理(例如4K解析度與60fps更新率)的條件下，達(dá)成上述三項(xiàng)目標(biāo)。

高動(dòng)態(tài)範(fàn)圍技術(shù)絕不遺漏任何影像細(xì)節(jié)

最能凸顯HDR功能必要性的情境，就是裝在戶外有明亮照明處的連網(wǎng)保全攝影機(jī)，它輸出的畫面通常交雜著極光亮以及陰暗的影像區(qū)域。人的雙眼能自動(dòng)調(diào)適高對(duì)比的明亮度，而數(shù)位感測器通常需要多次曝光以捕捉這樣的場景。

欲真實(shí)呈現(xiàn)HDR場景，採用的影像技術(shù)會(huì)要求每個(gè)畫素得具備20或24位元的精準(zhǔn)度，然而數(shù)位系統(tǒng)的顯示通常只支援到8或10位元，以致能處理的資料量也受到侷限。這也意謂著ISP之後銜接的電腦視覺引擎都侷限於8至10位元的精準(zhǔn)度。在此情況下，ISP有必要以更高的位元深度處理HDR資料，之後再進(jìn)行壓縮以利後續(xù)使用。倘若動(dòng)態(tài)範(fàn)圍的問題沒有妥善解決，畫面中陰暗區(qū)域影像的細(xì)節(jié)就會(huì)消失殆盡。

全新Mali ISP融入了Arm的動(dòng)態(tài)範(fàn)圍管理以及色調(diào)映射技術(shù)，設(shè)計(jì)目標(biāo)正是要克服這些元件的侷限性，以及讓觀看者能看到更清楚的暗部影像，完全無須編修或調(diào)整影像的明亮度。

完整且富彈性的解決方案加快產(chǎn)品上市時(shí)程

Mali-C52可自行設(shè)定，進(jìn)行兩個(gè)層面的最佳化：影像品質(zhì)以及佔(zhàn)用空間。這樣的彈性讓晶片夥伴能在多種產(chǎn)品與使用情境中延用相同的IP與軟體。Mali-C32特別針對(duì)低功耗、需考量成本的嵌入式視覺裝置進(jìn)行最佳化，像入門級(jí)門禁系統(tǒng)或是休閒用無人機(jī)。

此兩款I(lǐng)SP都是完整的解決方案，Arm提供硬體IP都附有ISP軟體驅(qū)動(dòng)程式，其中包括3A 函式庫 (自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)對(duì)焦)以及各種校正和調(diào)校工具。

其中功能特色與利益包括：

1. 更高的ISP影像品質(zhì)：Iridix技術(shù)設(shè)計(jì)旨在提供模仿人類視網(wǎng)膜對(duì)比調(diào)適的精準(zhǔn)模型，讓攝影機(jī)能像人眼一樣看到高明暗對(duì)比的影像。

2. 更高的效能，ISP每秒能處理6億畫素，這項(xiàng)關(guān)鍵功能能以旗艦款智慧型手機(jī)等級(jí)的畫面更新率拍出專業(yè)級(jí)攝影畫質(zhì)(像是數(shù)位單眼)。

3. 完整的軟體套件用來控制ISP、感測器、自動(dòng)白平衡、自動(dòng)對(duì)焦、以及自動(dòng)曝光。另外還提供包括裸機(jī)(bare metal)與Linux(Video4Linux 框架v4L2版本)軟體。

4. 彈性調(diào)校：運(yùn)用全套調(diào)校與校正工具進(jìn)行客觀與主觀的調(diào)校。專業(yè)的調(diào)校訓(xùn)練課程與支援，協(xié)助用戶針對(duì)特殊使用情境與感測器進(jìn)行專屬的調(diào)校

一兆臺(tái)裝置需要銳利的數(shù)位之眼

Arm的願(yuàn)景是打造一兆臺(tái)具備視覺功能的裝置。要實(shí)現(xiàn)一兆臺(tái)連網(wǎng)裝置世界的願(yuàn)景，這些裝置需要更銳利的數(shù)位之眼來看清以及認(rèn)知周遭環(huán)境，以為機(jī)器以及人類提供可靠的訊息來源。一切的開頭就是盡可能達(dá)到最高的影像品質(zhì)，Arm全新推出的Mali ISP正是為這個(gè)目標(biāo)而生。