InferNews

過往的影片問答模型，往往只在畫面表層打轉，碰上需要專業背景的內容就顯得吃力。VideoKR 正是針對這個缺口而設計，被稱為首個專為知識與推理密集型影片理解打造的大規模訓練語料庫，內含 31.5 萬條影片推理範例，橫跨 14.5 萬段以 CC 授權新蒐集的專業領域影片。

整個語料庫採用「人機協作、技能導向」的生成流程，刻意提升題目難度、題材多元性，以及 Chain-of-Thought（CoT）推理過程的品質。換句話說，模型不只是被餵大量影片，還要學會「怎樣一步步推論出答案」，而這個訓練流程分為監督式微調（SFT）與 GRPO 強化學習兩個階段，使用了 LLaMA-Factory 與 verl 兩個框架。

評測方面，項目同時釋出 VideoKR-Eval，由專家人工標註，要求模型真正理解影片內容，不能靠文字提示取巧。完成訓練後釋出的權重包括 VideoKR-Qwen2.5-VL-7B-SFT、VideoKR-Qwen3-VL-8B-SFT，以及對應的 GRPO 版本 VideoKR-Qwen2.5-VL-7B 與 VideoKR-Qwen3-VL-8B，涵蓋兩款主流視覺語言模型，方便不同算力門檻的研究團隊選用。

這個項目適合從事多模態研究、需要領域知識影片分析的團隊，以及關注 SFT-GRPO 訓練管線效果的工程師。對教學與科研機構而言，CC 授權的素材也可作為延伸應用的起點。

重點摘要

• 首個大規模語料庫：31.5 萬條推理範例、14.5 萬段 CC 授權專業影片。
• 人機協作生成流程：兼顧難度、多元性與 CoT 推理品質。
• 專家標註評測集 VideoKR-Eval：避免模型依賴文字捷徑作答。
• SFT 與 GRPO 雙階段訓練：使用 LLaMA-Factory 與 verl 框架。
• 開源權重齊備：涵蓋 Qwen2.5-VL-7B 與 Qwen3-VL-8B 兩個規模。

GitHub： https://github.com/Fu-Fu-Fu-Fu/VideoKR

機械臂聽到「把杯子拿起來」這類指令時，傳統的視覺語言動作模型（Vision-Language-Action Model, VLA）往往要直接把影像和文字翻譯成關節角度，中間欠缺一個「思考」步驟。AffordanceVLA 嘗試在這個鴻溝上架一道橋：先讓模型預測結構化的可供性（affordance），再據此生成動作。

整個框架由三個專家模型組成，按單向的 UAA 注意力串接。Understanding Expert（M_und）以 PaliGemma（SigLIP + Gemma）為骨幹，把畫面、指令與機械臂自身狀態融合成統一的語意表示。Affordance Generation Expert（M_gen）以 Gemma 搭配可學習查詢，把上述表示解碼為三種可供性標記：Which2Act 判斷要操作的物件、Where2Act 標出二維互動熱區、How2Act 則推估三維幾何資訊。最後 Action Expert（M_act）以 flow matching 方式輸出整段動作序列（action chunk）。這個設計呼應了論文「Affordances serve as a perfect bridge」的核心想法。

由於現成機器人數據集中缺乏密集的可供性標註，作者額外提供了一條自動化標註管線，並以三階段漸進式課程訓練 MoT 架構。訓練時須留意 model.chunk_size 與 data.chunk_size 保持一致，否則動作 attention mask 會錯位；Which2Act 的 Flux loss 預設為 MSE，可在 src/models/which2act_decoder.py 頂端切換。

這個項目適合研究 VLA、機器人操作策略，或對可供性表示有興趣的開發者。需要一支能跑 PaliGemma 與 flow matching 的 GPU 環境，並準備好仿真或實機評測流程。論文中的模擬與真機實驗橫跨多種操作場景，顯示加入可供性中間層能提升泛化與精確度，但具體數字仍以官方報告為準。

重點摘要

• 以 Which2Act、Where2Act、How2Act 三段式可供性作為視覺、語言與動作之間的中間橋樑。
• 採用 MoT 架構，串接 PaliGemma 為基礎的 Understanding、Gemma 為基礎的 Affordance 與 Action Expert。
• 配套自動化可供性標註管線，緩解機器人數據標註不足的問題。
• 訓練採三階段漸進式策略，flow matching 輸出整段動作序列。
• 模型、訓練與標註腳本皆隨開源項目釋出，歡迎社群延伸。

GitHub： https://github.com/Skywalker-yqz/AffordanceVLA

PilotTTS 是高德地圖（Amap）團隊在 GitHub 上開源的文字轉語音（text-to-speech, TTS）項目，主打以 LLM-based 架構配合嚴謹的資料工程，用較少資源做出具競爭力的合成品質。對想研究語音生成、卻沒有百萬小時資料和龐大算力的團隊來說，這是一個值得關注的選擇。

這個項目要解決的問題很直接：現今最頂尖的 TTS 系統往往依賴數百萬小時的私有資料和複雜的多階段架構，進入門檻極高。PilotTTS 反其道而行，僅以 20 萬小時、以全開源工具處理的資料集進行訓練，並釋出從品質評估、標註到過濾的完整資料管線（data pipeline），讓其他研究者能重現並改良。

在功能面上，項目涵蓋四個面向：零樣本聲音複製（zero-shot voice cloning）、11 種情緒合成、4 種副語音效果（如笑聲、呼吸、咳嗽、哭聲），以及 14 種中文方言的跨方言合成。模型方面，權重分為 pilot_tts.pt（基礎模型）與 pilot_tts_instruct.pt（指令控制版本），可從 HuggingFace 或 ModelScope 下載，配合 w2v-bert-2.0 等開源特徵提取器即可運作。

評估結果方面，團隊在 Seed-TTS Eval 基準上報出了亮眼數字：英文測試集 WER 1.50%、中文 CER 0.87%，兩組測試的說話人相似度（speaker similarity）分別達到 0.862 與 0.815，勝過多個以更大資料集訓練的系統。模型採用 Q-Former-based conditioning，透過跨樣本配對訓練把說話人身份與語氣風格解耦，這是它在精簡架構下仍能保持高表現的關鍵設計之一。

對一般讀者而言，這個項目較適合從事語音合成、LLM 多模態應用或中文方言研究的開發者與學生；對想打造有聲內容、配音工具或無障礙語音介面的產品團隊，它也提供了可直接整合的開源權重與推理流程。

重點摘要

• 極簡架構：LLM-based 自迴歸模型，以 20 萬小時開源資料處理後的訓練集達到頂尖基準成績。
• 完整資料管線：品質評估、標註、過濾全部使用公開工具，可重現且成本較低。
• 多維度控制：支援 11 種情緒、4 種副語音、14 種中文方言的跨方言合成。
• 頂尖指標：Seed-TTS Eval 取得最高說話人相似度，中文 CER 僅 0.87%。
• 完整開源：模型權重、處理管線與程式碼均於 GitHub、HuggingFace、ModelScope 釋出。

GitHub： https://github.com/AMAPVOICE/PilotTTS

項目： https://amapvoice.github.io/PilotTTS/

LoomVideo 由北京大學與阿里巴巴聯合發布，主打「統一多模態輸入的影片生成與編輯」，把文字、影片、圖片等多種輸入整合到同一個模型。傳統的統一影片模型動輒超過 13B 參數，且為了加入來源影片條件，往往要把所有 token 接在一起，導致序列長度翻倍、self-attention 成本暴增四倍。LoomVideo 的核心定位，就是用更小、更快的設計，達到同等甚至更好的效果。

這個項目基於 MLLM（多模態大語言模型）加 DiT（Diffusion Transformer）的組合，並提出三個關鍵設計：Deepstack Injection 從 MLLM 每一層抽取特徵，再透過 cross-attention 注入對應的 DiT 層；Scale-and-Add Conditioning 把乾淨的來源影片潛在變數按時間步長縮放後直接加到雜訊目標上，免去 token 拼接的額外負擔；Negative Temporal RoPE 為參考圖片指定負的時間索引，讓多圖片條件可以無縫整合。

LoomVideo 目前支援四種任務：文生影片、純文字指令編輯、影片加圖片加文字的指令編輯，以及多張參考圖的條件生成，全部由同一個 5B 模型處理。論文報告在多項基準上取得領先或具競爭力的表現，並宣稱比同級模型快至少 5.41 倍。對於電子商務與時尚場景的影片生成，論文也展示了針對性的優勢。

這個項目適合關注影片生成效率的研究者、影像創作工具開發者，以及需要快速生成短影片內容的團隊。目前模型權重已公開在 Hugging Face 的 MSALab/LoomVideo，程式碼亦同步釋出，有興趣的讀者可以直接到 GitHub 與 Hugging Face 取得資源並測試。

重點摘要：

• 5B 參數的統一影片生成與編輯模型，定位比 13B+ 同類更輕量。
• 以 MLLM + DiT 架構為基礎，並提出 Deepstack Injection、Scale-and-Add Conditioning 與 Negative Temporal RoPE 三大設計。
• 支援文生影片、文字指令編輯、影片加圖片文字編輯，以及多圖片條件生成四種任務。
• 論文聲稱比同級模型快至少 5.41 倍，並在電商與時尚場景表現突出。
• 模型與程式碼已公開，方便研究者與開發者快速試用與改進。

GitHub： https://github.com/MSALab-PKU/LoomVideo

項目： https://msalab-pku.github.io/projects/LoomVideo/index.html