具身智能、多模態大模型……盤點杭州亞運會上的五大“最黑”科技

　　“與歷屆亞運會相比,杭州亞運會很可能是最智能的一屆。”是亞奧理事會代理總干事維諾德在接受媒體訪問時的評價。

　　杭州亞運會于10月8日晚正式閉幕。中國隊以201枚金牌創下新紀錄,相較201枚金牌,杭州亞運期間的各類智能應用和科技范兒也同樣閃耀。

　　據亞運會官方數據,本屆亞運會有近20項首推、首創、首用的應用和科技,接下來我們將介紹其中最為突出的五個科技應用及其背后的技術細節。

　　一、最“暖”黑科技 -- 智能愛心輔助助手 “未名”

　　杭州亞運會舉辦期間,在杭州市的一些亞運會志愿者服務點,有一款機器人外觀的智能體在為視力障礙人士服務。

　　“未名”來自未名湖畔的北京大學。在北京大學黃鐵軍教授及仉尚航研究員的指導下,北京大學莊棨寧學生團隊打造了具身智能機器人軟件服務系統“未名”,用于亞運會期間的導航指引與幫助服務,還獲得了人民日報的“點名”。

　　“未名”和以往所有的傳統機器人不同,它基于莊棨寧學生團隊自研的感知生成一體化多模態大模型,能夠精準地感知與理解場館內外的視覺場景,生成準確豐富的語言描述,實現從人類復雜指令到具體行動的轉化,并基于端云協作大小模型的協同高效微調,提升模型的泛化性,使其可以快速適應新場景。

　　據悉,這套系統可以為觀眾提供導覽服務,協助視障人士進行引領和導航,解析視障人士需求并完成相應任務,幫助視障人士撿拾掉落的物品等。

　　二、最“顯眼包”黑科技——撿鐵餅機器狗

　　在杭州亞運會田徑賽場,幾只來來回回運送鐵餅的機器狗成為賽場“顯眼包”。

　　這是在亞運會上運輸鐵餅的“機器狗”。每只狗的背上都裝有卡槽,可以負重1-2公斤重的鐵餅,在預先設定好的線路上迅速運送體育設備,完成任務之后,機器狗們會“趴”在場邊等待指令。此外,個頭較小的機器人還可以完成前撲、坐下、作揖等動作。

　　據了解,機器狗每次往返的平均距離約120m,按照一場比賽往返60次來計算,相當于以往鐵餅比賽中工作人員超過7000m的工作量,有了機器狗往返運輸,就可以大大解放工作人員了。

　　三、最“私人定制”黑科技 -- 高速運動 AI? 解說系統

　　亞運賽場不僅有機器狗撿鐵餅,還有AI做賽事解說。

　　這套由北京大學棨寧學生團隊打造的高速運動AI 解說系統,通過高速攝像機的脈沖信號檢測場景物體和運動員,將能夠捕捉體育比賽中的關鍵時刻,并生成高質量的集錦和相關數據,基于多模態大模型算法和深度學習模型對這些運動數據進行分析,基于分析結果,系統再生成提供實時的個性化解說服務,從而為各個語種的觀眾都能提供個性化的體驗。

　　以乒乓球賽事解說生成為例,畫面中兩個人正在打乒乓球,系統可以捕捉和理解運動員的3D 姿態、也可以對球的軌跡做分析,并生成精準描述。

　　更值得一提的是,這是多模態大模型技術首次在國際大型綜合性體育賽事中的落地和嘗試。

　　四、最“快”黑科技—— AI 智能剪輯

　　眾所周知,本屆杭州亞運會核心系統實現了100%上云,這意味著同一場比賽,通過云平臺可以生成不同版本,更重要的是,一種全新的視頻剪輯方式也有了實現的可能。

　　據了解,亞運會媒體中心使用的阿里云AI智能剪輯,可以一鍵自動剪接多角度鏡頭,添加字幕轉場等效果。

　　舉例來說,原本剪輯100 米自由泳比賽集錦視頻需要在全景、近景、特寫鏡頭之間來回切,現在只要選中選手就能一鍵生成多軌合一的鏡頭,再根據背景音樂加入慢動作的特寫鏡頭、校對 AI 生成的字幕,一條又快又好的視頻就完成了。

　　五、最正直黑科技—— AI 裁判

　　傳統的人類裁判可能會因為視角、視線遮擋或是瞬間的判斷失誤而錯過某些行為,而AI裁判則可以通過多個角度和高幀率的攝像頭實時捕獲細節,確保決策更加準確。

　　據官方披露,本屆亞運會引入了AI裁判評分技術,為比賽提供了更公正、準確的判罰。

　　AI裁判系統通過AI紅外追蹤技術,配合自動生成的打分系統,為每位選手進行打分。AI裁判還會會對選手的各項身體參數和動作角度進行分析,根據國際標準完成打分,

　　AI裁判不受情感、壓力或任何外部因素的影響,完全基于事實和預定規則進行判決,堪稱最“正直”的科技。

　　期待這些黑科技產品逐漸滲透到普通用戶的生活中,為我們的生活帶來更多便利、效率和可持續性。