對于盲人和部分視力障礙者來說，可穿戴電子視覺輔助系統(tǒng)是醫(yī)學治療和植入假體的一個頗有前景的替代選擇。這些裝置能將來自環(huán)境的視覺信息轉(zhuǎn)換成其他感官信號來輔助日常任務(wù)。不過，當前系統(tǒng)很難使用，所以無法大規(guī)模推廣。
2025年4月14日，上海交通大學電子信息與電氣工程學院清源研究院、上海人工智能實驗室顧磊磊團隊在 Nature 子刊 Nature Machine Intelligence 上發(fā)表了題為：Human-centred design and fabrication of a wearable multimodal visual assistance system 的研究論文，還研究登上了今天的 Nature 頭條。
該研究開發(fā)了一款面向盲人和部分視力障礙者的可穿戴多模態(tài)視覺輔助系統(tǒng)，該系統(tǒng)利用人工智能（AI）解讀安裝在眼鏡上的攝像頭所拍攝的畫面以勘測周圍環(huán)境，在佩戴者接近障礙物或物體時會通過骨傳導耳機進行語音提示，以及通過貼在手腕的可伸展“人造皮膚”進行震動提醒，指導佩戴者移動方向，避開兩側(cè)的物體，為其選擇一條無障礙路線。
該研究提出了一種以人為本的多模態(tài)可穿戴系統(tǒng)，通過融合軟件和硬件創(chuàng)新來提高可用性。該系統(tǒng)本質(zhì)上是一副配有攝像頭的智能眼鏡，可以捕捉佩戴者周圍環(huán)境的實時圖像，該系統(tǒng)還通過一臺微型計算機使用經(jīng)過訓練的機器學習算法來處理這些圖像，從而檢測周圍環(huán)境中其他人以及門、墻和家具等物體的存在。該系統(tǒng)每 250 毫秒就會向用戶提供關(guān)于周圍環(huán)境的音頻提示，并在左側(cè)或右側(cè)耳機上發(fā)出“嗶嗶”聲，引導用戶朝正確的方向前進。
研究團隊還開發(fā)了一種靈活的可伸展“人造皮膚”貼片，可以貼在手腕和手指上，用于額外的導航輔助，其配備了自己的攝像頭系統(tǒng)，當障礙物在 40 厘米到 5 厘米之間時，會震動提醒佩戴者。當用戶伸手去拿東西時，它們也會震動，提醒他們何時該抓東西了。
該設(shè)備通過自供電的摩擦起電智能鞋墊將真實用戶與虛擬化身對齊，在精心設(shè)計的場景中支持有效的 VR 訓練。
為了驗證該系統(tǒng)的效果，研究團隊招募了 20 名盲人或部分視力障礙者進行測試，在室內(nèi)迷宮測試中，12 名參與者能夠在室內(nèi)迷宮中避開障礙物。在真實世界測試中，8 名參與者能夠在城市街道上行走以及穿過擺滿家具的會議室。
這些研究結(jié)果表明，整合視覺、聽覺和觸覺能增強視力輔助系統(tǒng)的可用性和功能性，為用戶友好型視覺輔助系統(tǒng)鋪平了道路，為改善視力障礙人士的生活質(zhì)量提供了新的途徑。
論文通訊作者、上海交通大學人工智能研究員顧磊磊表示，這個系統(tǒng)可以部分取代眼睛。目前，這個裝置還只是一個原型機，為了使它在實際層面上更有用，研究團隊需要確保它非?？煽?，并且對用戶是安全的。
論文鏈接：
https://www.nature.com/articles/s42256-025-01018-6
合作咨詢
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2025 上海博華國際展覽有限公司版權(quán)所有（保留一切權(quán)利）
滬ICP備05034851號-57
