清華大學(xué)精儀系類腦計(jì)算研究中心在類腦視覺感知芯片領(lǐng)域取得重要進(jìn)展

2024-06-11 11:29:05清華大學(xué)閱讀量：210      我要評論

導(dǎo)讀：清華大學(xué)精密儀器系類腦計(jì)算研究中心聚焦類腦視覺感知芯片技術(shù)，提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式。

　　【化工機(jī)械設(shè)備網(wǎng) 技術(shù)前沿】隨著人工智能的飛速發(fā)展，無人駕駛和具身智能等無人系統(tǒng)正在現(xiàn)實(shí)社會中不斷推廣應(yīng)用，引領(lǐng)著新一輪科技革命和產(chǎn)業(yè)變革。在這些智能系統(tǒng)中，視覺感知作為獲取信息的核心途徑，發(fā)揮著至關(guān)重要的作用。然而，在復(fù)雜多變且不可預(yù)測的環(huán)境中，實(shí)現(xiàn)高效、精確且魯棒的視覺感知依然是一個(gè)艱巨的挑戰(zhàn)。

　　在開放世界中，智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量，還需要應(yīng)對各種極端事件，如駕駛中的突發(fā)危險(xiǎn)、隧道口的劇烈光線變化和夜間強(qiáng)閃光干擾等。傳統(tǒng)視覺感知芯片由于受到“功耗墻”和“帶寬墻”的限制，在應(yīng)對這些場景時(shí)往往面臨失真、失效或高延遲的問題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。

　　為了克服這些挑戰(zhàn)，清華大學(xué)精密儀器系類腦計(jì)算研究中心聚焦類腦視覺感知芯片技術(shù)，提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式。該范式借鑒了人類視覺系統(tǒng)的基本原理，將開放世界的視覺信息拆解為基于視覺原語的信息表示，并通過有機(jī)組合這些原語，模仿人視覺系統(tǒng)的特征，形成兩條優(yōu)勢互補(bǔ)、信息完備的視覺感知通路?；谶@一新范式，團(tuán)隊(duì)進(jìn)一步研制出了世界首款類腦互補(bǔ)視覺芯片“天眸芯”，在極低的帶寬(降低90%)和功耗代價(jià)下，實(shí)現(xiàn)了每秒10000幀的高速、10bit的高精度、130dB的高動態(tài)范圍的視覺信息采集。它不僅突破了傳統(tǒng)視覺感知范式的性能瓶頸，而且能夠高效應(yīng)對各種極端場景，確保系統(tǒng)的穩(wěn)定性和安全性?；?ldquo;天眸芯”，團(tuán)隊(duì)還自主研發(fā)了高性能軟件和算法，并在開放環(huán)境車載平臺上進(jìn)行了性能驗(yàn)證。在多種極端場景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理，展現(xiàn)了其在智能無人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。

　　“天眸芯”的成功研制無疑是智能感知芯片領(lǐng)域的一個(gè)重大突破。它不僅為智能革命的發(fā)展提供了一個(gè)強(qiáng)大的技術(shù)支持，還為自動駕駛、具身智能等重要應(yīng)用開辟了新的道路。結(jié)合團(tuán)隊(duì)在類腦計(jì)算芯片“天機(jī)芯”、類腦軟件工具鏈和類腦機(jī)器人等方面已應(yīng)用落地的技術(shù)積累，“天眸芯”的加入將進(jìn)一步完善類腦智能生態(tài)，有力地推動人工通用智能的發(fā)展。

　　5月30日，基于該研究成果的論文“面向開放世界感知、具有互補(bǔ)通路的視覺芯片”(A Vision Chip with Complementary Pathways for Open-world Sensing)作為封面文章，登上《自然》(Nature)雜志。這是該團(tuán)隊(duì)繼異構(gòu)融合類腦計(jì)算“天機(jī)芯”后，第二次登上《自然》雜志封面，標(biāo)志著我國在類腦計(jì)算和類腦感知兩個(gè)重要方向上均取得了基礎(chǔ)性突破。

類腦互補(bǔ)視覺感知芯片“天眸芯”

自動駕駛感知演示平臺

　　清華大學(xué)精密儀器系施路平教授和趙蓉教授為論文通訊作者，精密儀器系楊哲宇博士(現(xiàn)為北京靈汐科技有限公司研發(fā)經(jīng)理)、精密儀器系2020級博士生王韜毅、林逸晗為論文共同第一作者。清華大學(xué)為論文第一單位，合作單位包括北京靈汐科技有限公司。

　　該研究得到了科技部科技創(chuàng)新2030“腦科學(xué)與類腦研究”重大項(xiàng)目和國家自然科學(xué)基金委的支持，也得到了清華大學(xué)/IDG-麥戈文腦科學(xué)研究院的支持。

上一篇：可降解紙張涂層材料問世

下一篇：遠(yuǎn)達(dá)環(huán)?！暗湍芎奶疾都商准夹g(shù)及工程應(yīng)用”項(xiàng)目順利通過中國電機(jī)工程學(xué)會科學(xué)技術(shù)成果鑒定

版權(quán)與免責(zé)聲明：1.凡本網(wǎng)注明“來源：化工機(jī)械設(shè)備網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：化工機(jī)械設(shè)備網(wǎng)”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來源（非化工機(jī)械設(shè)備網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)或和對其真實(shí)性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí)，必須保留本網(wǎng)注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。 3.如涉及作品內(nèi)容、版權(quán)等問題，請?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。

全部評論

昵稱驗(yàn)證碼匿名