作者：Haotian
除了A本地化“下沉”之外，AI賽道近段時間最大的變化莫過於：多模態視頻生成的技術突破了，從原先支持純文本生成視頻演變成文本+圖像+音頻的全鏈路整合生成技術。
隨便說幾個技術突破案例，大家感受下：
1）字節跳動開源EX-4D框架：單目視頻秒變自由視角4D內容，用戶認可度達到70.7%。也就是說，給一個普通視頻，AI能自動生成任意角度的觀看效果，這在以前需要專業的3D建模團隊才能搞定；
2）百度“繪想”平臺：一張圖生成10秒視頻，宣稱可以達到“電影級”質量。但是不是由營銷包裝誇大的成分，要等8月份的Pro版本更新後實際看效果；
3）Google DeepMind Veo：可以達到4K視頻+環境音的同步生成。關鍵技術亮點是“同步”能力的達成，之前都是視頻和音頻兩套系統拼接，要能做到真正語義層面的匹配需要克服較大的挑戰，比如複雜場景下，要做到畫面中走路動作和腳步聲的對應音畫同步問題；
4）抖音ContentV：80億參數，2.3秒生成1080p視頻，成本3.67元/5秒。老實說這個成本控制的還可以，但目前生成質量看，遇到複雜的場景還差強人意；
爲什麼說這些案例在視頻質量、生成成本、應用場景等方面的突破，價值和意義都很大？
1、技術價值突破方面，一個多模態視頻生成的複雜度往往是指數級的，單幀圖像生成大概10^6個像素點，視頻要保證時序連貫性（至少100幀），再加上音頻同步（每秒10^4個採樣點），還要考慮3D空間一致性。
綜合下來，技術複雜度可不低，原本都是一個超大模型硬剛所有任務，據說Sora燒了數萬張H100才具備的視頻生成能力。現在可以通過模塊化分解+大模型分工協作來實現。比如，字節的EX-4D實際上是把複雜任務拆解成：深度估計模塊、視角轉換模塊、時序插值模塊、渲染優化模塊等等。每個模塊專門幹一件事，然後通過協調機制配合。
2、成本縮減方面：背後其實推理架構本身的優化，包括分層生成策略，先低分辨率生成骨架再高分辨增強成像內容；緩存複用機制，就是相似場景的複用；動態資源分配，其實就是根據具體內容複雜度調整模型深度。
這樣一套優化下來，纔會有抖音ContentV的3.67元/5秒的結果。
3、應用衝擊方面，傳統視頻製作是重資產遊戲：設備、場地、演員、後期，一個30秒廣告片幾十萬製作費很正常。現在AI把這套流程壓縮到prompt+幾分鐘等待，而且能實現傳統拍攝難以達到的視角和特效。
這樣一來就把原本視頻製作存在的技術和資金門檻變成了創意和審美，可能會促進整個創作者經濟的再洗牌。
問題來了，說這麼多web2AI技術需求端的變化，和web3AI有啥關係呢？
1、首先，算力需求結構的改變，以前AI拼算力規模，誰有更多同質化的GPU集羣誰就贏，但多模態視頻生成需求的是多樣化的算力組合，對於分佈式的閒置算力，以及各個分佈式微調模型、算法、推理平臺上都可能產生需求；
2、其次，數據標註的需求也會加強，生成一個專業級視頻需要：精準的場景描述、參考圖像、音頻風格、攝像機運動軌跡、光照條件等等都會成爲專業的數據標註新需求，用web3的激勵方式，可以刺激攝影師、音效師、3D藝術家等提供專業的數據素，用專業垂類的數據標註增強AI視頻生成的能力；
3、最後，值得一說的是，當AI從過去集中式大規模資源調配逐漸趨於模塊化協作本身就是一種對去中心化平臺的新需求，屆時算力、數據、模型、激勵等共同組合形成自我強化的飛輪，會帶動web3AI 和web2AI場景的大融合。
