InferNews

NVidia Hydra-0 以人類動作統一機械人訓練

2026 年 8 月 25 日

Hydra-0把機械人動作轉成畫面上的像素流，讓同一個世界模型學習不同機械人形態，並支援模擬、策略評估及真機控制。

機械人面對不同手臂結構、夾具和操作環境時，動作通常以各自的關節或末端執行器座標表示，令資料難以共用。Hydra-0以 Action Flow 將可見的機械人運動表示成影像平面上的像素流，建立跨形態、任務和環境的共同控制介面，屬於面向通用控制的 world model。

Hydra-0在運行時採用 hybrid simulator：physics engine 負責移動機械人，learned video model 則預測動作對場景造成的變化。模型可從 egocentric human demonstrations、handheld UMI grippers、single-arm robots 和 bimanual robot arms 等互動影片學習，減少依賴單一機械人平台資料的限制。

Forward mode會根據 gripper flow 預測未來場景，生成的結果可用於 open-loop policy evaluation；inverse mode則由目標物件的 flow 推導相容的機械人運動，再透過 supervised readout 轉換成可執行動作。把模擬、策略測試和控制放進同一套模型流程。

• 以像素流統一四種不同 embodiment 的互動資料
• 同時支援世界預測、策略評估及機械人控制
• 以 physics engine 和 learned video model 組成 hybrid simulator
• 最佳配置令 robot-motion error 降低90.4%，object-motion error 降低60.2%，比較基準為 action-conditioned baseline

Hydra-0適合需要整合多來源示範影片、先在模擬環境測試策略，再連接真實機械人的研究和開發工作。它仍然依賴動作影片、像素流表示和模型預測的準確度，跨形態轉移能否在更多任務中保持穩定，仍要配合完整數據和真機測試判斷。

項目主頁

Categories: NVIDIA, Video, Image, 視覺模型, Robotic, 世界模型, World-Action Model

DeepSeek Harness 把多 Agent 協作變成可控工作台

2026 年 8 月 25 日

[教學影片]DeepSeek Harness 讓 DeepSeek dsh 變成可啟動 Web UI 的開發者工作台，重點放在多個 Agent 並行處理、動態工作流同插件擴展。它適合要在複雜程式碼庫入手審計、協作同加速探索嘅使用場景。

DeepSeek Harness 把 DeepSeek dsh 做成一個可啟動 Web UI 的開發者工作台，處理的是複雜程式碼庫入面要同時分工、同步同收斂結果的問題。影片實測重點放喺並行只讀審計、動態派生 SubAgent，同埋最後將多路輸出整合返去。

它同一般單一路徑的助理做法不同之處，在於可以按工作內容拆成多個 Agent Teams，再根據任務需要即時調整流程。這種安排適合審查、分析同探索型工作，因為不同子任務可以同時展開，唔使一條線慢慢行。

片中亦提到插件開發門檻較低，代表它不只係拿來跑預設流程，仲可以按團隊習慣加功能。對要處理既有代碼、要快速驗證想法，或者想將 AI 工具接入日常開發流程的人，這種擴展性會更實用。

重點摘要：
– 以 Web UI 包裝 DeepSeek dsh，方便直接操作
– 支援多個 Agent 並行工作，減少單線等待
– 可動態派生 SubAgent，按任務拆分工作
– 插件擴展門檻較低，方便接入自訂流程
– 適合複雜程式碼庫審計、協作同探索任務

項目主頁

Categories: 開源, DeepSeek, Agentic, 安全, 教學, 編程, UI/UX

MiniMax H3 在 ComfyUI 實現換臉換身工作流

2026 年 8 月 25 日

MiniMax H3 配合 ComfyUI 自訂節點，示範如何建立換臉與換身流程，方便整理影像生成工作流。

由換臉延伸到換身，影片示範 MiniMax H3 在 ComfyUI 中處理人物影像替換的完整流程，重點放在如何把不同步驟串連起來，減少使用者自行摸索節點配置的時間。

流程以 ComfyUI 為操作環境，並配合 custom nodes 建立 Face Swap 和 Body Swap 工作流。對需要處理人物素材、測試影像生成效果，或想將換臉與換身加入現有影像項目的創作者，這類示範可作為起點。

影片涵蓋的內容包括：
– MiniMax H3 在 ComfyUI 中的工作流安排
– Face Swap 換臉流程
– Body Swap 換身流程
– custom nodes 的配合方式
– 從輸入素材到結果輸出的完整操作示範

使用者仍需按素材類型、節點版本及本地環境調整設定，並留意人物影像替換涉及的肖像權與授權問題。

項目主頁

Categories: 開源, ComfyUI, 安全, 教學, MiniMax, UI/UX

ComfyUI-MiniMaxH3-Contex-Loop：讓 MiniMax H3 多場景影片可重試續作

2026 年 8 月 25 日

把多場景影片拆成可審核、可重試的製作流程，減少一次渲染失敗便要由頭再做的浪費。

MiniMax H3 Contex Loop v0.5 — scene plans that survive the render

多場景影片最麻煩的地方，往往不是生成單一鏡頭，而是其中一幕出錯後要重做整段流程。ComfyUI-MiniMaxH3-Contex-Loop 是一套開源 ComfyUI 工作流工具，利用一個可重用的 sampling body，按 scene Plan 逐幕生成 MiniMax H3 影片，並把已接受的片段從磁碟組合起來。

每個場景都可以獨立設定提示詞、seed、時間、圖片、動態影片及音訊參考；Review Gate 會讓使用者選擇批准、重試、reroll 或提早停止。candidate_count 亦可為單一場景生成多個候選，最後由使用者揀選指定 take，減少整條工作流反覆排隊的成本。

支援中斷後 resume、partial assembly 及 atomic checkpoints
可延續現有片段，處理 inpainting 和 two-ended bridges
Guide 與 protected AV-prefix transitions 有助維持畫面、動態及聲音連接
支援 latent-to-PNG export，並可從已儲存資產恢復製作

v0.5 要求較新的 ComfyUI，包含原生 Add Guide for MiniMax H3。FFmpeg 放在 PATH 會較方便，沒有時可由 ComfyUI 內置 PyAV 處理 review 和 assembly，因此硬件、模型配置及渲染時間仍然是主要限制。倉庫目前以 main 作為支援的 0.5 發行線，已儲存的 0.4 workflows 和 checkpoints 仍然支援，較適合把生成流程分段管理的影片創作者及技術團隊。

GitHub

Categories: 開源, ComfyUI, Video, Image, AI productions, 框架, MiniMax

SparsePR 讓影片生成以稀疏注意力加速，毋須重新訓練

2026 年 8 月 25 日

SparsePR 將稀疏注意力帶入四款影片模型，在維持生成質素的同時，把執行速度提升最多 2.61 倍。

Repository image for PardisTaghavi/SparsePR

影片生成最吃資源的部分，往往不是提示詞或輸出格式，而是 Video Transformer 裏大量 Attention 計算。SparsePR 屬於 training-free sparse attention 參考實作，透過減少不必要的 query、key/value 互動，加速 HunyuanVideo-13B、Wan2.2-I2V-A14B、Cosmos-Predict2.5-14B 及 Cosmos3-Nano-16B，毋須額外訓練模型。

它沒有單純按注意力集中程度刪走區塊，而是以 Response-Coupled Partitioning 按目前回應分組，再用少量 exact probe rows 配合 Probe-Fitted Residual Reconstruction，補回稀疏計算遺漏的輸出。使用者可透過同一個介面，在 dense baseline 與 SparsePR 之間切換，直接比較影片質素、速度和顯存取捨。

執行 pair density 約 21.9% 至 26.0%
端到端速度提升約 1.48 至 2.61 倍
涵蓋文字轉影片、圖像轉影片及 image-to-world 情境
在 VBench 及 PBench 進行評估，部分 Cosmos-Predict2.5-14B 結果達 40.33 dB

項目要求 Linux，並建議使用 NVIDIA H100；HunyuanVideo、Wan2.2、Cosmos-Predict2.5 與 Cosmos3 需要分開的 CUDA 12.8 wheel 環境，原因是 Cosmos3 依賴較新的 Diffusers 和 Transformers。可選的 fused CUDA kernels 有助進一步執行，但安裝門檻明顯高於一般影片生成工具，模型 checkpoint 亦要從官方 Hugging Face 儲存庫取得。

SparsePR 適合研究影片生成效率、建立高端 GPU 推理基準，或需要在保留畫面質素下減少計算量的團隊。它目前仍是參考實作，支援模型和硬件環境較有限；對只有消費級 GPU、只想快速試玩影片生成的使用者，成本與環境配置可能抵銷加速帶來的好處。

項目主頁 · GitHub

Categories: 開源, NVIDIA, Video, Image, Linux, 模型訓練, 框架

Human-Centric-AI：從人體觀察到具身代理

2026 年 8 月 25 日

研究人本 AI 不再只靠零散論文搜尋，這個開源資源庫把分類、基礎設施與學習材料集中整理。

做人體分析、互動理解或具身智能研究時，最花時間的往往不是找到單篇論文，而是整理不同任務、模態與研究社群之間的關係。Human-Centric Artificial Intelligence（Human-Centric AI）Resources 屬於開源研究資源庫，配合《Human-Centric Intelligence in the Era of Foundation Models: A Survey》，集中處理人本 AI 的文獻探索、資料集與研究基礎設施整理問題。

伴隨的 survey 以六層 human context taxonomy 串連研究脈絡，從可觀察的人體外觀與空間幾何，延伸至 dynamic actors 的動力學和互動建模，再到 situated agents、world simulation 與 embodied agency。它不會取代論文原有的實驗細節，價值在於把相關 datasets、benchmarks、evaluation metrics，以及 training 和 inference optimization strategies 放入同一個檢索框架。

適合研究生和新加入領域的團隊：用作文獻導航及研究方向整理。
適合做資料集或 benchmark 的研究者：較容易尋找相關評測資源。
適合跨模態項目：協助連接視覺、動作、互動和具身智能研究。
限制：它沒有提供可直接比較的 runtime performance，亦不是即裝即用的 AI 工具。

對需要建立研究地圖、設計 benchmark 或追蹤 foundation models 如何融入人本智能的讀者。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 香港, 香港科技大學, 香港理工大學, Agentic, API, 工具, 模型訓練, 北京大學, Dataset 數據集

Human-Centric-AI：從人體觀察到具身代理

2026 年 8 月 25 日

研究人本 AI 不再只靠零散論文搜尋，這個開源資源庫把分類、基礎設施與學習材料集中整理。

資源庫並非可直接下載執行的模型或軟件，使用方式是瀏覽 GitHub 內容及項目首頁，按 Academic Knowledge、Research Infrastructure 和 Community Learning Hubs 等部分尋找材料。研究者亦可透過社群渠道提交或維護資源，因此內容會隨社群整理持續更新，但完整度和一致性仍取決於後續貢獻。

適合研究生和新加入領域的團隊：用作文獻導航及研究方向整理。
適合做資料集或 benchmark 的研究者：較容易尋找相關評測資源。
適合跨模態項目：協助連接視覺、動作、互動和具身智能研究。
限制：它沒有提供可直接比較的 runtime performance，亦不是即裝即用的 AI 工具。

對需要建立研究地圖、設計 benchmark 或追蹤 foundation models 如何融入人本智能的讀者，GitHub 資源庫和 survey 應該一併閱讀；只想立即執行模型或測試 API 的使用者，則需要另找具體實作項目。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 香港, 香港科技大學, 香港理工大學, Agentic, API, 工具, 模型訓練, Dataset 數據集, 北京大學

UniSpace：把理解、生成與編輯放進同一視覺空間

2026 年 8 月 25 日

UniSpace 嘗試用同一套視覺表示處理影像理解、生成與編輯，但首個程式版本仍未包含訓練流程。

影像模型往往要在語意理解與畫面細節之間取捨，UniSpace 以統一視覺表示同時處理理解、生成和指令式編輯，定位是多模態模型及推理評估項目。它由 patch-reparameterized vision encoders 和 Qwen3-8B Mixture-of-Transformers 組成，前者保留預訓練模型的語意能力，再補足重建與生成所需的細節。

三款 encoder 分別是 PR-SigLIP2、PR-DINOv2 和 PR-Qwen-ViT；UniSpace 則使用配備 Qwen-based patch-reparameterized tokenizer 的視覺空間。這種分工讓同一套表示可以連接理解、文字生成影像及影像編輯，但也代表模型效果取決於 encoder、tokenizer 和多模態 backbone 能否協調工作。

ImageNet-1K 256 × 256 重建測試使用 50,000 張驗證影像，PR-DINOv2 取得最高 PSNR 30.84、SSIM 0.90 和最低 rFID 0.14。生成測試同樣使用 50,000 個樣本；PR-DINOv2 配合 Classifier-Free Guidance (CFG) 後，gFID 為 1.877、IS 為 274.16，但 Recall 由 0.637 降至 0.605，反映畫面品質與覆蓋範圍之間仍有取捨。

目前最需要留意的是可重現性，而不是安裝難度。儲存庫屬於 paper-time landing release，首個程式版本只會提供 inference 和 evaluation，訓練程式及內部數據管線不公開；在預期檔案和 checkpoints 尚未完整發布前，fresh clone 不能直接執行命令。研究團隊、模型評測人員和需要比較視覺 encoder 的開發者可先參考固定 seed、採樣步數及評測規則，待穩定版本發布後再驗證結果。

能力範圍： 統一支援影像理解、生成與 instruction-based editing。
模型關係： PR-SigLIP2、PR-DINOv2、PR-Qwen-ViT 提供視覺表示，Qwen3-8B Mixture-of-Transformers 負責多模態處理。
評測結果： PR-DINOv2 重建 rFID 0.14，UniSpace GenEval 整體分數 0.84，DPG-Bench 為 86.49。
限制： 目前欠缺可由 fresh clone 直接執行的完整程式、訓練流程及內部數據管線。

項目主頁 · GitHub

Categories: 開源, Qwen, Clone, 多模態模型, Dataset 數據集

OmniAssistBench：以多輪互動評測即時影片助手的表現

2026 年 8 月 25 日

OmniAssistBench 以 LLM-as-a-Judge 固定互動路徑測試 Omni-LLMs 的多輪影片助手能力，涵蓋685組開放式問答、7類任務，影片含自然語音、打字或手寫提示。評分顯示 Gemini-3-Pro 以66.4分領先。

OmniAssistBench proposes an annotation pipeline which allows annotators to build test samples from existing Internet vid

當影片助手的回答會改變使用者下一步行動，傳統只對固定影片問答的測試便難以反映真實體驗。OmniAssistBench 屬於 Omni-LLMs 的影片助手評測基準及數據集，透過固定互動路徑，處理多輪對話中影片內容會隨模型回應變化的問題。

項目涵蓋 685 組開放式問答，分成 Basic Tier 與 Advanced Tier，涉及社交理解、時間感知、手勢提示、程序指導及主動回應等 7 類主要任務和 16 類細分任務。影片取材自運動、煮食、講課、DIY 及談話節目，另有 3 個自行拍攝案例，每個平均超過 15 輪互動；問題會以自然語音、打字或手寫方式嵌入影片，而不是只放文字提示。

以影片連同對應音訊輸入模型，再按互動回合回答問題
由專家先整理影片步驟，再剪輯片段及加入字幕，固定測試路徑
評分採用 LLM-as-a-Judge，原始 0 至 5 分再換算為 0 至 100
建立數據集耗用超過 1,000 小時專家工時

這種做法比靜態影片問答更貼近助手場景，但固定路徑亦代表其他合理回應未必能在同一測試中獲得充分反映。Project homepage 的排行榜顯示，Gemini-3-Pro 整體得分為 66.4，Gemini-2.5-Pro 為 64.6，商用及開源 Omni-LLMs 都只達部分正確，反映可靠的即時影片助手仍有明顯改進空間。

研究團隊來自南京大學、南開大學及 University of Waterloo。測試者需要按照項目提供的評測流程處理影片和音訊，相關 Dataset、Project Page 及評估程式碼可供查閱；正式採用前應先確認版本、存取權限及評分流程是否已更新。

項目主頁 · GitHub

Categories: 開源, Qwen, 字節跳動, Gemini, Dataset 數據集, 南京大學

[技術文章] RecVerse 讓購物代理更像真人行為

2026 年 8 月 25 日

RecVerse以分層記憶和整段軌跡訓練，模擬更貼近真人的網上購物流程。

網上購物模擬器要重現真人由瀏覽、比較到購買的連續決定，才能支援推薦系統的離線測試和 Reinforcement Learning（RL）訓練。RecVerse 是一個以 GUI 為基礎的模擬代理，透過螢幕截圖理解頁面，生成多輪購物軌跡，處理長時間瀏覽中用戶狀態不斷變化的問題。

現有做法各有缺口：Rule-based simulators 依賴向量化商品特徵和預設行動空間，難以涵蓋複雜的電商介面；Large Language Models（LLMs）和 Vision-Language Models（VLMs）代理雖然加入推理及 persona 建模，長會話仍可能丟失早期觀察，或者把所有歷史硬塞進 context window。逐步模仿每個已記錄行動，亦可能令整段流程出現過度探索或過分被動等不自然模式。

RecVerse以認知啟發的分層記憶處理長期資訊，包括短期焦點用的 Working Memory、保存本次會話軌跡的 Episodic Memory，以及記錄高層次意圖的 Preference Memory。記憶更新本身被視為行動，代理可以按情況學習何時及應該保存哪些資訊。

訓練時，系統改用 trajectory-level RL，直接為完整購物會話評分，同時對齊真人的宏觀行動類型分佈和微觀購物意圖。研究團隊亦發布 USB（UserSimulationBenchmark）互動式電商 GUI 軌跡數據集；實驗結果指 RecVerse 在行為忠實度和意圖一致性上均優於現有基線。

以螢幕截圖理解電商 GUI，生成多輪購物行為
透過三層記憶保留短期焦點、會話經歷和用戶偏好
用完整軌跡目標修正逐步模仿帶來的不自然行為
USB 提供互動式電商 GUI 軌跡數據集
可用於推薦策略的離線及反事實測試

Paper

Categories: 阿里巴巴, Agentic, 多模態模型, 模型訓練, 視覺模型, 中國

Page 1 of 140

1 2 3 … 140 Next »