在開放世界中，智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量，還需要應(yīng)對各種長尾問題，如自動駕駛中面臨的突發(fā)危險、出入隧道的劇烈光線變化、夜間強閃光干擾等。在這類任務(wù)上，傳統(tǒng)視覺感知芯片由于受到功耗墻和帶寬墻的限制，往往面臨失真、失效或高延遲的問題，嚴(yán)重影響系統(tǒng)的穩(wěn)定性和安全性。

為了克服這些挑戰(zhàn)，近日，清華大學(xué)精密儀器系類腦計算研究團隊研制出世界首款類腦互補視覺芯片“天眸芯”，基于該研究成果的論文5月30日作為封面文章發(fā)表于國際學(xué)術(shù)期刊《自然》。

研發(fā)背景

眾所周知，芯片作為人工智能的“心臟”，其重要性不言而喻。而視覺感知作為信息獲取的重要途徑，在無人駕駛、人工智能等系統(tǒng)中扮演著至關(guān)重要的角色。然而，傳統(tǒng)的視覺感知技術(shù)往往存在識別速度慢、精度不高等問題，難以滿足日益增長的應(yīng)用需求。因此，開發(fā)一種新型的、高效的視覺感知芯片成為了科技界亟待解決的問題。

正是在這樣的背景下，清華大學(xué)施路平教授團隊提出了一種基于視覺原語的互補雙通路類腦視覺感知新范式。這種新范式通過模擬人腦視覺系統(tǒng)的工作原理，實現(xiàn)了對圖像信息的快速、準(zhǔn)確處理。同時，團隊還成功研制出了世界首款基于這種新范式的類腦互補視覺芯片“天眸芯”。

這一突破也向世界展示了中國在芯片領(lǐng)域的強大實力和創(chuàng)新能力。面對美西方的技術(shù)打壓和封鎖，中國科研人員并沒有退縮和放棄，而是迎難而上、攻堅克難，不斷取得新的突破和進展。這種精神值得我們每一個人學(xué)習(xí)和傳承。

值得一提的是，“天眸芯”芯片的研制過程并非一帆風(fēng)順。在研發(fā)過程中，團隊成員們克服了諸多技術(shù)難題和挑戰(zhàn)，付出了大量的心血和汗水。正是他們的辛勤付出和不懈努力，才使得這一成果得以成功問世。

首款類腦互補視覺芯片問世

研究團隊聚焦類腦視覺感知芯片技術(shù)，提出一種基于視覺原語的互補雙通路類腦視覺感知新范式——借鑒人類視覺系統(tǒng)的基本原理，將開放世界的視覺信息拆解為基于視覺原語的信息表示，并通過有機組合這些原語，模仿人視覺系統(tǒng)的特征，形成兩條優(yōu)勢互補、信息完備的視覺感知通路。

在此基礎(chǔ)上，團隊研制出世界首款類腦互補視覺芯片“天眸芯”，在極低的帶寬（降低90%）和功耗代價下，實現(xiàn)每秒10000幀的高速、10bit的高精度、130dB的高動態(tài)范圍的視覺信息采集，不僅突破傳統(tǒng)視覺感知范式的性能瓶頸，而且能夠高效應(yīng)對各種極端場景，確保系統(tǒng)的穩(wěn)定性和安全性。

基于“天眸芯”，團隊還自主研發(fā)高性能軟件和算法，并在開放環(huán)境車載平臺上進行性能驗證。在多種極端場景下，該系統(tǒng)實現(xiàn)低延遲、高性能的實時感知推理，展現(xiàn)其在智能無人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。

清華大學(xué)表示，結(jié)合團隊在類腦計算芯片天機芯、類腦軟件工具鏈和類腦機器人等方面已應(yīng)用落地的技術(shù)積累，天眸芯的加入將進一步完善類腦智能生態(tài)，有力地推動人工通用智能的發(fā)展。

人類視覺系統(tǒng)開啟全新范式

隨著AI加速發(fā)展，無人駕駛、具身智能等“無人系統(tǒng)”在現(xiàn)實中的應(yīng)用更加廣泛，并引領(lǐng)著新一輪科技產(chǎn)業(yè)革命。在這些智能系統(tǒng)中，視覺感知作為獲取信息的核心途徑，發(fā)揮著至關(guān)重要的作用。

就以自動駕駛舉例，在真實的開放世界中，系統(tǒng)不僅需要處理龐大的數(shù)據(jù)，還需要應(yīng)對各種極端事件。比如，惡劣天氣環(huán)境、駕駛中突發(fā)的危險，夜間強閃光干擾等各種長尾問題，為AI系統(tǒng)帶來了極大的挑戰(zhàn)。這時，如果采用傳統(tǒng)的視覺感知芯片，會受到「功耗墻」和「帶寬墻」的限制，無法同時應(yīng)對以上駕駛中出現(xiàn)的邊緣情況。

更進一步說，傳統(tǒng)視覺芯片在面對這些場景時，往往會出現(xiàn)失真、失效或高延遲的問題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。為了克服這些挑戰(zhàn)，清華團隊聚焦類腦視覺感知芯片技術(shù)，提出了一種全新的范式——基于視覺原語的互補雙通路類腦視覺感知范式。

具體講，新范式包括了“基于視覺原語的表征”，以及“兩條互補視覺通路”（CVP）。在這一范式中，借鑒人視覺系統(tǒng)中的視覺原語的概念，它將開放世界的視覺信息拆解為「視覺原語」。這些視覺原語各自描述了視覺信息的一種基本要素。然后通過有機組合這些原語，借鑒人視覺系統(tǒng)的特征，形成兩條優(yōu)勢互補、信息完備的視覺感知通路，如下圖所示。

其中，視覺原語包括但不僅限于顏色、數(shù)據(jù)精度、靈敏度、空間分辨率、速度、絕對強度、空間差（SD）和時間差（TD）。CVP包括兩條不同的通路：認(rèn)知導(dǎo)向通路（COP）和行動導(dǎo)向通路（AOP）。與HVS中的腹側(cè)通路（Ventral stream）和背側(cè)通路（Dorsal stream）相類似。“認(rèn)知導(dǎo)向通路”使用顏色、強度、高空間分辨率和高精度等視覺原語，來實現(xiàn)精確認(rèn)知，最大限度地減少空間混疊和量化誤差。

相比之下，“行動導(dǎo)向通路”使用SD、TD、速度等視覺原語，來實現(xiàn)魯棒、高稀疏的快速反應(yīng)，從而解決數(shù)據(jù)冗余和延遲問題。這兩種方法在構(gòu)建正常情況，以及邊緣情況的表征時相互補充，從而實現(xiàn)了高動態(tài)范圍，并緩解了語義錯位和分布外物體檢測問題。