9月23日，杭州第19屆亞運會即將隆重開幕。屆時，廣大觀眾不僅將迎來一屆“中國特色、亞洲風采、精彩紛呈”的體育盛會，也將享受一次極具未來感的科技盛宴。“智能”是本屆杭州亞運會的辦賽理念之一，作為杭州亞運會官方智能視覺服務獨家供應商，商湯科技依托“大裝置+大模型”，不僅以AI+AR黑科技打造了覆蓋多場景、虛實融合的實景AR觀亞運體驗，還依托商湯瓊宇SenseSpace領先的NeRF技術(shù)，構(gòu)建了可在虛擬空間中沉浸式感受亞運氛圍的亞運數(shù)實空間。通過“亞運AR服務平臺”，廣大市民觀眾可盡情體驗商湯大模型技術(shù)帶來的一系列好玩有趣、便捷實用的智能服務項目，在富有杭州特色且極具感官沖擊的交互體驗中，沉浸感受“智能亞運”的科技氛圍。

實景AR觀亞運，多場景虛實融合體驗貫穿全場

從大街小巷到場館社區(qū)，如今的杭州處處隱藏著商湯打造的驚喜“彩蛋”。觀眾在手機小程序“智能亞運一站通”中選擇“AR服務”進入“亞運AR服務平臺”，即可開啟亞運黑科技的探索之旅。例如，在西湖、拱宸橋、良渚、市民中心、青少年活動中心廣場，觀眾通過手機掃描倒計時打卡裝置，亞運吉祥物“江南憶”便會從天而降和市民互動合影。在場館附近，“AR亞運之聲”將讓觀眾如同親臨“江南憶”的演唱會現(xiàn)場，一同為亞運歡呼喝彩。在場館入口處，“江南憶”更會帶來聲情并茂的“AR亞運迎賓秀”，熱情歡迎來自五湖四海的新老朋友。

對于前來杭州奧體中心場館群和黃龍體育中心場館群觀看比賽的觀眾，商湯“AR場館導航”將扮演專屬“指路人”。通過這項服務，觀眾只需跟著地面上投射出的虛擬箭頭和文字指示，就能準確辨別方向，輕松找到進出口、座位、衛(wèi)生間等地點。無論是室內(nèi)外還是跨樓層，“AR場館導航”都能無縫切換，即便方位感再差，也能通行無憂。

在奧體中心場館群、黃龍體育中心場館群、中國杭州電競中心等多處場館中，觀眾還可通過亞運“AR智能屏”查詢各種賽程和場館信息，一站式規(guī)劃“亞運之行”，同時還能與吉祥物“虛實合拍”，甚至來一場游戲PK一決高下，留下專屬的亞運記憶。觀眾亦可戴上“AR眼鏡”，在映襯于實景之上的虛擬世界中，領略西湖文化、拱宸春色和良渚遺址及足球、舉重、摔跤等多種運動項目的視聽盛宴，并可與亞運會吉祥物進行互動，身臨其境地感受杭州亞運文化的魅力。

此外，商湯還將虛實融合的視覺體驗延伸到出行場景，特別打造“AR智能巴士”，并在亞運運動員村和媒體村提供接駁服務。和普通巴士不同，這款商湯科技基于SenseMARS火星混合現(xiàn)實平臺和自研L4級自動駕駛解決方案打造的AR智能巴士，可以精準識別車道線、交通信號燈狀態(tài)，智能預測行人、車輛的運動方向，并做出及時、有效的決策和路徑規(guī)劃，從而實現(xiàn)在特定站點自動停留接駁乘客，并通過完全自主的導航和駕駛，沿固定線路將乘客點對點地安全送達至目的地。AR智能巴士車窗被一塊超大屏幕代替，將杭州的實時街景與西湖風景、拱辰春色、良渚遺址等杭州特色美景及亞運主題虛擬元素巧妙融合，如同打破時空界限，給乘客帶來“移步換景”的未來智能出行體驗，感受“智能亞運”的無窮魅力和最美杭州的人文情懷。

這些賽場內(nèi)外的一系列AR互動體驗，均需高精度的AI算法支撐。然而，亞運場館空間廣、復雜度高，且存在大量相似場景、弱紋理、動態(tài)場景，同時還要滿足夜間環(huán)境下的AR應用需要，給實時性和準確性帶來諸多挑戰(zhàn)。對此，商湯利用海量場景數(shù)據(jù)積累，采用自研深度特征模型，可在不同光照環(huán)境下檢測到穩(wěn)定的視覺特征，結(jié)合空間幾何和多傳感器信息，以及高效魯棒的特征匹配方案，最終在保證高并發(fā)的同時有效解決了上述挑戰(zhàn)。

亞運數(shù)實空間，足不出戶感受亞運現(xiàn)場氛圍

在提供線下實景AR觀亞運體驗的同時，商湯還創(chuàng)新打造了線上虛擬空間沉浸式體驗“亞運數(shù)實空間”，讓大家足不出戶，通過手機便可在亞運場館的數(shù)字世界中感受真實亞運的現(xiàn)場氛圍。在亞運數(shù)實空間中，“江南憶”將化作金牌導游，帶領觀眾漫游杭州。觀眾不僅可以在高空視角鳥瞰宏偉壯闊的亞運館群全貌，還可以通過自由視點實時漫游的方式在三維空間中穿梭“大蓮花”、“小蓮花”、游泳館等標志性的亞運場地，在欣賞藝術(shù)感、科技感和運動感并存的建筑設計的同時，享受“亞運迎賓秀、亞運之聲、亞運知識科普”等互動體驗。

商湯大裝置SenseCore和“日日新”SenseNova大模型體系下的商湯瓊宇SenseSpace大規(guī)模實景3D內(nèi)容生成平臺，為亞運數(shù)實空間提供了亞運場館群場景NeRF模型的高質(zhì)量重建支持。憑借領先的隱式神經(jīng)輻射場（NeRF）技術(shù)，商湯瓊宇可支持平方公里級城市場景的三維數(shù)字化復刻生成，具有厘米級重建精度，可還原場景的真實細節(jié)和光照效果；同時支持對復刻生成的場景NeRF模型進行再編輯和再創(chuàng)作，將數(shù)字化重建推向了全新高度。

為響應亞運場館竣工的時間要求，商湯還高效解決了場館數(shù)據(jù)采集和重建工作等挑戰(zhàn)。通過全新的多源數(shù)據(jù)聯(lián)合重建和NeRF模型拼接技術(shù)，商湯創(chuàng)新性地將不同時間段和不同片區(qū)的場館影像進行融合重建和拼接，形成完整的亞運場館NeRF實體全貌，首次做到了2平方公里場館群跨區(qū)域、跨時間段、跨光照變化的聯(lián)合三維復刻與融合，在為亞運積極貢獻新內(nèi)容的同時也實現(xiàn)了自身技術(shù)的突破和創(chuàng)新。不僅如此，通過商湯瓊宇重建的城市實景三維模型，未來也可以作為城市數(shù)字資產(chǎn)用于更多數(shù)字孿生應用場景。

打破次元局限，開啟生動、沉浸式的互動體驗，商湯科技以實景AR觀亞運和亞運數(shù)實空間實現(xiàn)了線上線下的雙向融合，以數(shù)實融合賦能杭州亞運。通過推動AI技術(shù)與大眾體育的創(chuàng)新交融，商湯科技期待以創(chuàng)新技術(shù)激發(fā)大眾熱情，傳遞亞運精神，助力杭州亞運“精彩啟航”。