Noiz AI 與港科大發表即時影音世界模型

Noiz AI 與香港科技大學 10/12 發表 Helix World 預覽版:單張圖即時生成影片與隨鏡頭變化的立體聲,解析度 768×512。速度與評比分數皆為業者自述,價格未載明。
Noiz AI 與香港科技大學(HKUST)10/12 發表 Helix World 預覽版,可由單張圖即時生成影片,並產生隨鏡頭轉動變化的立體聲,解析度 768×512。速度與評比分數皆為業者自述,價格未載明。
背景:Helix World 被描述為「即時互動的影音世界模型」,使用者以 WASD 與方向鍵操控,探索生成的場景。輸入為一張圖片(可選用範例或上傳),文字提示為選填,留空時系統會自動根據畫面描述場景。官方論文為 arXiv:2609.38123。
細節:官方稱在單張 NVIDIA H800 上每秒 24 幀,含影音解碼的即時係數(RTF)為 0.77,以約 1.3 秒為一段生成,新輸入從下一段起生效。評測方面:WBench 導航分數 79.9,低於無原生音訊的 Alaya-EVOKE-Turbo(82.0)與有原生音訊的 EchoWM(81.0);空間聲學一致性 HelixBench 為 41.8;使用者研究中,67.9% 的受試者在含音訊情況下偏好 Helix World,EchoWM 為 20.8%。
限制:官方稱公開檢查點為預覽版,速度只在資料中心級 H800 上量測,未涵蓋消費級 GPU。官方有公開示範站(頁面未載明價格),程式碼在 GitHub,預覽檢查點在 Hugging Face。
跟你的關係
這屬研究階段的預覽,一般使用者可先試公開示範,但目前的速度驗證只在資料中心級 GPU,自家電腦未必跑得動。對做遊戲、虛擬場景或影音研究的人,可關注其開源程式碼;成品化與商用條件,官方沒有說明。
重點
- 10/12 發表預覽版,單圖生成影片與隨鏡頭變化的立體聲
- 解析度 768×512;H800 上每秒 24 幀(業者自述)
- WBench 79.9,略低於最佳無聲模型 82.0
- 使用者研究偏好 67.9% 對 20.8%(對 EchoWM)
- 有公開示範與 GitHub 程式碼;價格未載明
來源
本站內文為依上列來源整理的摘要,未另外增加事實;細節請以原文為準。