“原來(lái)機(jī)器手還能干這些精細(xì)活兒！”只見一只觸覺夾爪拿起豆腐、薯片、果凍等易碎品，根據(jù)其紋理、軟硬和摩擦特性，精準(zhǔn)做到輕起慢落，擺出各種造型，實(shí)現(xiàn)“柔中帶感，觸而能知”。
近日，由復(fù)旦大學(xué)可信研究院團(tuán)隊(duì)自主研發(fā)的高精度、低成本“自適應(yīng)視觸覺AI傳感器”在2025世界人工智能大會(huì)（WAIC） 上首次公開亮相。作為唯一的高校代表，復(fù)旦團(tuán)隊(duì)這一成果亮相鎮(zhèn)館之寶"WAIC里機(jī)器人技能大舞臺(tái)"中央展區(qū)，為構(gòu)建面向精細(xì)化操作的下一代具身智能大模型提供關(guān)鍵技術(shù)支撐，讓人形機(jī)器人離人類生活更進(jìn)一步。
皮膚是人類最大的器官，具備對(duì)力的多維感知能力，可看成是天然的多維力學(xué)信息采集終端。正是憑借多維感知能力，當(dāng)人類需要做一些靈活的操作時(shí)，便根據(jù)觸覺反饋、交互時(shí)力的變化來(lái)調(diào)整操作精度。
這些本是機(jī)械所不具備的特征，但隨著“視觸覺技術(shù)”的出現(xiàn)，正在讓機(jī)器人擁有觸覺成為可能，解決操作精度上“最后一公里”的問(wèn)題。
如何讓冰冷堅(jiān)硬的機(jī)器人擁有人類的觸覺？這一科研難題，在復(fù)旦大學(xué)可信具身智能研究院團(tuán)隊(duì)的“自適應(yīng)視觸覺AI傳感器”科研中取得了突破性進(jìn)展。團(tuán)隊(duì)曾獲 2023年度國(guó)家自然科學(xué)二等獎(jiǎng), 其15年的視覺技術(shù)積累為本項(xiàng)目的算法實(shí)現(xiàn)提供了堅(jiān)實(shí)基礎(chǔ)。
所謂“具身智能”，是強(qiáng)調(diào)從環(huán)境交互中學(xué)習(xí)的一種智能體。國(guó)內(nèi)的具身機(jī)器人研發(fā)，已有較完善的視覺通道，但在具身智能的觸覺技術(shù)仍較為欠缺。
?“我們想要機(jī)器人不僅能感受到單一的傳統(tǒng)壓力，而且還能具備類人皮膚的感知，能感知壓力、剪切、扭轉(zhuǎn)、滑移等各種復(fù)雜力學(xué)交互信息。” 復(fù)旦大學(xué)可信具身智能研究院研究員陳文明介紹，以往，以壓力信號(hào)為指標(biāo)的傳感技術(shù)是單一的感官通道，而下一代具身機(jī)器人要突破操作能力瓶頸，必須具備類似人體皮膚的多維觸覺感知能力。
多維力解耦是經(jīng)典的力學(xué)問(wèn)題，更是具身智能行業(yè)的難點(diǎn)。力觸覺是機(jī)器和環(huán)境交互里最重要的一個(gè)感官通道，而具身機(jī)器人在感官層次上，目前還缺乏非視覺的力觸覺通道。面對(duì)復(fù)雜的環(huán)境交互，對(duì)矢量進(jìn)行分解運(yùn)算，則是一個(gè)有挑戰(zhàn)的技術(shù)性問(wèn)題。
為破解這一問(wèn)題，團(tuán)隊(duì)在傳感層內(nèi)置的微小攝像儀起到關(guān)鍵作用。表面接觸到力后，傳感層的粒子會(huì)發(fā)生位移，進(jìn)而被攝像頭捕捉到受力形變的信息，再借助AI強(qiáng)大的算力，能將復(fù)雜的觸覺信號(hào)轉(zhuǎn)化為高維視覺數(shù)據(jù)，并把這些視覺信號(hào)精準(zhǔn)翻譯為力的分布信息，實(shí)現(xiàn)力的多維精確解耦。該傳感器靈敏度極高，達(dá)到每平方厘米4萬(wàn)個(gè)感知點(diǎn)，具備超高的空間分辨率。
?“利用 AI 的解耦算法，我們最小的感知力能做到0.01牛頓，實(shí)際上已超越人類的頂尖的力的一個(gè)分辨能力。”陳文明介紹，人類指尖皮膚的最小感知閾值大概在0.1牛到0.2牛之間。相比之下，團(tuán)隊(duì)研發(fā)的“自適應(yīng)視觸覺AI傳感器”的感知靈敏極限已達(dá)到人體的10倍。由此，該技術(shù)在精密加工、電子裝配、高精度分揀等行業(yè)具備應(yīng)用潛能。
除了拿豆腐、夾薯片、抓果凍，團(tuán)隊(duì)研發(fā)的這只觸覺夾爪還會(huì)精準(zhǔn)舀湯圓——只見它控制著勺子，在液體中實(shí)時(shí)追蹤，舀起一顆漂浮的湯圓后，再穩(wěn)穩(wěn)地放入另一個(gè)碗中。整個(gè)過(guò)程全靠機(jī)器人動(dòng)態(tài)適應(yīng)水流擾動(dòng)和物體位置變化，在無(wú)人工控制的情況下展現(xiàn)出如同人類般的高水平手眼協(xié)同能力。
能做到這些，正是得益于團(tuán)隊(duì)研發(fā)的傳感器具備柔性、靈敏、“觸覺神經(jīng)”、多維力學(xué)探測(cè)等特點(diǎn)，還有一套融合了視覺感知與AI算法的創(chuàng)新系統(tǒng)。抓取物品時(shí)，它的柔軟界面如同人類皮膚般，能適應(yīng)適應(yīng)復(fù)雜表面，會(huì)自然貼合物體形狀，不會(huì)像剛性爪那樣壓壞脆弱物品。同時(shí)，它可感知多維受力，包括正壓力、切向力，甚至扭轉(zhuǎn)力，能靈巧、安全地與外界交互。
項(xiàng)目團(tuán)隊(duì)博士生羅虎、林思羽介紹，相比于其他團(tuán)隊(duì)所采用的光度立體技術(shù)，團(tuán)隊(duì)經(jīng)長(zhǎng)時(shí)間打磨后換了另一種思路：通過(guò)神經(jīng)網(wǎng)絡(luò)，對(duì)一個(gè)隨機(jī)粒子的一個(gè)位移場(chǎng)進(jìn)行捕捉、結(jié)算接觸，擬合出復(fù)雜的非線性力學(xué)行為，從而達(dá)到更優(yōu)的精確度。
“就像人類通過(guò)觸摸知曉物體的形狀、邊角、摩擦系數(shù)、紋理等屬性，機(jī)器人掌握這些智能辨識(shí)能力后，環(huán)境感知力將大幅提升。”項(xiàng)目團(tuán)隊(duì)成員、復(fù)旦大學(xué)付彥偉教授介紹，這意味著傳統(tǒng)機(jī)械夾爪將向智能夾爪升級(jí)，有望完成此前難以實(shí)現(xiàn)的高精度分揀、亞毫米級(jí)電子裝配等精細(xì)操作任務(wù)，從根本上提升機(jī)器人操作的精細(xì)度與適應(yīng)性。
高性能傳感器里頭，一端是內(nèi)窺鏡鏡頭，另一端是多層硅膠材料，再搭配上神經(jīng)網(wǎng)絡(luò)芯片，整體制作成本比傳統(tǒng)“”降低近50倍，量產(chǎn)后價(jià)格還能再下調(diào)，有望促進(jìn)高價(jià)值行業(yè)的自動(dòng)化升級(jí)。
目前，要讓具身機(jī)器人真正走進(jìn)千家萬(wàn)戶，做一些能替代人類勞動(dòng)的事情，仍存在諸多挑戰(zhàn)。項(xiàng)目團(tuán)隊(duì)帶頭人、復(fù)旦大學(xué)副校長(zhǎng)姜育剛認(rèn)為，具身機(jī)器人要面對(duì)的是多樣化的工作環(huán)境，需要既能在預(yù)先學(xué)習(xí)過(guò)的環(huán)境里做好工作，也能在不確定性的未知環(huán)境里完成任務(wù)。
此次發(fā)布的高精度、低成本的視觸覺傳感器，可支持訓(xùn)練融合觸覺等多模態(tài)信息的機(jī)器人大腦，進(jìn)而助力實(shí)現(xiàn)可完成精細(xì)化操作的下一代具身智能技術(shù)。“明年給大家看的就不是抓豆腐和果凍了，而是一些更有挑戰(zhàn)性的任務(wù)。”?姜育剛說(shuō)。
下一步，團(tuán)隊(duì)計(jì)劃對(duì)“自適應(yīng)視觸覺AI傳感器”進(jìn)行市場(chǎng)化，同時(shí)開展視觸覺融合的大模型訓(xùn)練，去解決行業(yè)內(nèi)更有挑戰(zhàn)性的問(wèn)題。該技術(shù)應(yīng)用前景包括搭載觸覺技術(shù)的機(jī)械夾爪精準(zhǔn)抓取易損物品、工業(yè)制造領(lǐng)域中高精度分揀與精密裝配、輔助醫(yī)療領(lǐng)域完成微創(chuàng)手術(shù)等。該技術(shù)還可以和假肢相結(jié)合，研制出具備觸覺感知能力的先進(jìn)智能假肢。
今年初，復(fù)旦大學(xué)可信具身智能研究院成立。研究院專注具身智能的前沿研究與應(yīng)用落地，是復(fù)旦大學(xué)面向世界科技前沿的重要戰(zhàn)略布局。這項(xiàng)工作是研究院的重要成果之一。
?“我們希望研發(fā)具有自主探索能力、持續(xù)進(jìn)化特性且符合人類價(jià)值觀的具身智能體，為未來(lái)人機(jī)協(xié)同與智能社會(huì)建設(shè)提供核心驅(qū)動(dòng)力。”姜育剛說(shuō)。
（通訊員 方東妮 丁超逸 殷夢(mèng)昊）
