InferNews

EBG 紀錄長流程 AI 代理的決策

Share to X

代理做得越多，監察越難。EBG 將分散在訊息、程式及工具結果中的證據，整理成可核查的行為關係圖。

Overview of the EBG method

長流程 AI 代理執行軟件工程工作時，使用者往往難以判斷哪些決定會影響結果。Evidence-Grounded Behavior Graph（EBG）是一套 training-free 監察方法，將來源連結證據整理成行為、範圍與關係，協助監察者追查代理做過甚麼，以及相關證據藏在哪裏。

EBG 不只記錄操作次序，而是以 task-oriented views 把要求、觀察到的行為和可能後果連起來，讓人集中核實具影響力的決定。這比逐段翻查訊息、程式碼、工具輸出及中間產物更適合長流程工作，但它仍需要可靠的來源證據和監察模型作判斷，並不會自動保證結論正確。

項目同時提供 AgentMonBench，涵蓋 SpecGAP、SilentSwap 和 FeedbackTrace 三個子集，各有 100 個例子；主要實驗使用 FeedbackTrace Long 的 100 個樣本。基準從兩個方向測試代理監察能力：要求與行為是否一致，以及能否找出需要使用者核實的重大自主決定；網站亦展示八個模型的結果，但儲存庫沒有在摘要中列出完整分數。

  • Python 3.11 或以上可執行 EBG，FeedbackTrace 建構需要 Python 3.12，SilentSwap 另需 Docker。
  • scripts.demo 可離線建立合成圖，不需憑證或基準資料，測試結果會儲存至 outputs/demo/。
  • 公開資料包括完整評估輸入、Gold annotations 和樣本清單；預測及 judging 則需自行提供 endpoint、模型 ID 和憑證。

對研究AI 安全監察及軟件工程團隊來說，EBG 的把「代理做了甚麼」轉化成可追溯的證據結構。它目前仍是 under review at ICLR 2027 的研究項目，較適合作為可重現的研究基礎及監察流程原型，而非即插即用的生產系統。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, API, 軟件, 工具, Python, 庫, 安全, 中國, Dataset 數據集

SparseDecoding 針對 LLM 解碼加速至 1.48 倍

Share to X

SparseDecoding 針對生成階段重新校準剪枝，兼顧模型準確度與解碼速度。

Og image

大型語言模型（Large Language Model，LLM）逐個生成 token 時，延遲往往受記憶體讀取限制；SparseDecoding 以解碼階段為核心重新設計剪枝流程，減少需要讀取的非零參數，處理稀疏模型加速與輸出質素之間的取捨。

傳統剪枝方法通常從固定自然語料收集 calibration activations，再計算 Hessian；但模型生成 token 時會依賴自己早前產生的內容，兩者分佈不一致，令剪枝後的表現受影響。SparseDecoding 改為在 dense model 進行 autoregressive generation 時，按層收集模型自行生成的 activation，並略過 prefill 階段，讓校準資料更貼近真正解碼流程。

系統部分則針對解碼主導的 sparse matrix-vector（SpMV）運算，加入支援 N:M sparsity 的 bitmask indexing 與 fixed-step traversal kernel。這和主要優化 prefill 的 sparse matrix-matrix multiplication（SpMM）方案不同，後者在部分 autoregressive decoding 情境下未必能超越 dense throughput。

實驗涵蓋 Llama-3.1-8B、Llama-3.3-70B 及 Qwen3-14B/32B，在 WritingBench 和 ClassEval 等測試中維持具競爭力的結果；A100 上的端到端 decoding speedup 最高達 1.48×，不同稀疏模式則約為 dense 模型的 1.34 至 1.48 倍。

  • 以模型自行生成的 token 作 decoding-aware calibration
  • 略過 prefill activation，聚焦 autoregressive decoding
  • 提供優化 N:M SpMV kernel，支援 bitmask indexing
  • 在 50% 權重保留率及 2:4 sparsity 下測試
  • 目前屬於 preprint，程式碼標示為即將提供

項目主頁

Categories: 模型, 模型訓練, Qwen, 框架, LLaMa

AgentGarten 以神經渲染器打造可演化的 AI 世界

Share to X

AgentGarten 讓智能體在由程式控制狀態與規則、再由神經渲染器生成畫面的世界中反覆學習，兼顧可控性與視覺真實感。

MirroS logo

讓智能體在同一個世界反覆試錯，關鍵不只在模型能力，也在環境是否真的記得狀態、遵守規則，並以接近真實的畫面回應行動。AgentGarten 屬於面向 Agentic 系統的互動環境與神經渲染器項目，處理的是可執行世界難以同時兼顧規則一致性、視覺質感與即時速度的問題。

世界中的物件、目標和變化由程式保存，程式輸出的 depth 或 surface normals 則交給共享 neural renderer 生成智能體看到的畫面。renderer 以 NVIDIA Cosmos3-Nano 為基礎，先用 bidirectional rectified-flow 訓練完整影片，再以 autoregressive block-causal 方法配合 teacher forcing 或 diffusion forcing 生成後續畫面，最後透過 Adversarial Forcing 將模型蒸餾成較少步驟的學生模型。

目前公開內容集中在 neural renderer、訓練配方及 streaming inference；code worlds 和完整 agent practice loop 仍會逐步加入。試用需要 Python 3.11 或以上、PyTorch 2.9 或以上，以及 CUDA 主機，較適合研究智能體、模擬環境或自製互動遊戲的團隊，而非只想即時調用一個現成聊天模型的讀者。

  • 可控狀態：規則和世界變化留在可檢查、可修改的程式內。
  • 統一視覺介面：只要提供幾何條件，同一世界可以切換不同視覺風格。
  • 即時能力：官方資料指在單張 H100、480×832 解析度可超過每秒 30 幀。
  • 學習閉環：智能體每輪把經驗整理成 playbook，交給後續輪次繼承。

這種做法以幾何條件取代為每個世界重新製作完整視覺資產，換來較高彈性，但畫面質素仍取決於 renderer 訓練資料、條件輸出和硬件。項目展示的 shelter、bridge 及 companion dog 場景說明它可支援 self-play RL；不過完整程式世界尚未全部公開，現階段更適合作為研究原型和 renderer 實驗基礎。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 模型訓練, NVIDIA, Video, Python, 強化學習

TokenRouter 讓多個模型逐 Token 協作

Share to X

同一個回答可按 Token 在大小模型之間切換，TokenRouter 以專用服務引擎處理路由、交接與批次調度。

TokenRouter Logo

同一個回答需要小型模型快速生成，亦要大型模型處理指定 Token 時，服務系統要同時應付模型切換、不同步解碼和不規則請求。TokenRouter 屬於開源 serving system，專門處理 token-level LLM routing，讓多個模型在單次回應內協作。

開發者只需透過 route()、send() 和 receive() 描述路由邏輯，系統便負責請求交接、Tokenization、Detokenization、批次調度及模型執行。它採用獨立 subserver、非同步 model-centric execution 和 delayed batching，讓快模型繼續解碼，慢模型處理被路由的 Token；Python 3.10、YAML 配置、OpenAI-compatible chat completions 和 Python engine 則提供了較直接的測試入口。

  • 支援同一回應內按 Token 或片段切換模型
  • 內置 scheduler、model executor 及 CUDA graph 支援
  • 可用單機或跨節點配置不同模型
  • 涵蓋五種路由算法、三類工作負載及多組模型配對

測試結果顯示，TokenRouter 在不同算法、工作負載和模型配對下，解碼吞吐量較現有系統高 2.01–64.15 倍。這個差距會受硬件、批次規模、路由頻率及模型組合影響，不能直接視為所有場景的固定提升；項目提供的 Qwen3-0.6B 與 Qwen3-32B 配置，較適合用來理解小型與大型模型協作的流程。

需要研究 token-level routing、測試推理工作流，或營運多模型服務的團隊會較容易受益。TokenRouter 把路由策略與執行引擎分開，保留較大彈性，但亦意味着使用者仍要自行設計算法、準備模型節點和調校分散式通訊，並非即插即用的模型服務平台。

項目主頁 · GitHub

Categories: 開源, 模型, Qwen, NVIDIA, Python, Tokenize

SuperNav 讓多模態模型指揮機械狗導航

Share to X

由多模態模型處理找物件、按次序到訪及高層次指令，SuperNav 把導航變成可觀察、可評估的代理工作流。

SuperNav

當指令由「找出籃球」延伸至「先找打印機，再找垃圾桶」，SuperNav 以 Agentic Navigation System 的形式處理場景理解、路線行動與任務進度。項目實際解決的是機械人面對不同場景和非固定指令時，難以只靠預設導航流程完成工作的問題。

系統由預訓練多模態模型 (multimodal model) 作決策，再透過工具、task-progress tracking 和 context management 將決定轉成移動行動，不需要為導航專門微調模型。Codex、OpenCode 或 Kimi 都可作為代理執行端，任務、工具與 Skills 則透過實驗設定組合，彈性高於寫死單一路線，但結果仍會受模型判斷及工具能力影響。

作者提供 agent runtime、導航工具、Skills、實驗配方及評估工具，支援 Habitat-GS 和 AI2-THOR。測試時可先在模擬環境執行單物件、多物件和 demand-driven navigation，再查看 RGB 觀察、軌跡、tool calls、提示詞、工具結果及原生記錄；儲存庫目前沒有真實機械人驅動程式，Unitree Go2 的示範主要來自研究項目展示。

研究結果指出，SuperNav 在單物件、多物件及需求導向導航的成功率高於所比較的基線，並展示 Unitree Go2 實體部署。可留意的限制是，資料只交代高於評估基線，未提供足夠細節讓讀者單靠儲存庫重現所有真實機械人測試。

  • 適合場景： 室內找物件、依次到訪多個目標，以及較高層次的整理要求
  • 可觀察性： 即時查看 RGB 影像、軌跡和工具呼叫，完成後再檢查記錄
  • 模型關係： 多模態模型負責決策，SuperNav 負責工具協調、進度追蹤與導航執行
  • 測試範圍： Habitat-GS、AI2-THOR，並有 Unitree Go2 示範

研究團隊、具身 AI 開發者和需要比較導航代理的人，會較容易從這個開源項目受益；一般使用者則要先準備相應模型服務、模擬環境和實驗設定，不能把儲存庫直接當成已包裝完成的機械人應用。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 多模態模型, 模型訓練, Image, 提示詞, 工具, 庫, Kimi, Skill 技能

UniWAM 把理解、預測與機械人動作合而為一

Share to X

UniWAM 以 8B 參數模型整合語意理解、視覺預測和動作生成，瞄準機械人操作中理解與執行脫節的問題。

UniWAM teaser

面對需要理解指令、預測環境變化再控制機械人的任務，UniWAM 將三個步驟放進同一個 8B-parameter 模型，屬於結合世界模型與 Vision-Language-Action（VLA）的開源研究項目。它以 Mixture-of-Transformers（MoT）連接 physical reasoner、world generator 和 action predictor，讓三者透過 joint multimodal attention 交換資訊。

模型不只依賴機械人示範，預訓練亦混合 human egocentric data、robot data 及 visual question answering（VQA）資料，並把低層動作轉成自然語言，改善視覺語言能力與實體操作之間的銜接。Post-training 再加入 future visual noise augmentation，配合 history-conditioned flow matching，以較少 denoising steps 生成動作。

  • 整合範圍： 同時處理 physical reasoning、視覺生成與動作預測
  • 訓練訊號： 結合機械人、第一身人類視角及 VQA 資料
  • 效率設計： 用動作歷史初始化生成流程，減少 denoising steps
  • 硬件成本： RoboTwin 2.0 post-training 曾以 8 張 NVIDIA H100 GPU 執行 10 小時

GitHub 儲存庫提供 models/、train/ 和 utils/ 等模型與訓練程式，並附有 RoboTwin 2.0、LIBERO 及 LIBERO-plus 的資料處理和評估工具。Python 3.10、CUDA 兼容的 PyTorch 環境較適合測試，使用者可先以模擬器資料和配置檔驗證訓練或推理流程。

項目首頁宣稱 UniWAM 在 in-distribution、robustness、generalization 及 instruction following 等多項評估取得 SOTA，但儲存庫提供的資訊未列出完整分數和比較表。Bridge、DROID、Fractal 以及 real-world inference 明確不在今次發布範圍內，因此它較適合研究團隊測試統一式機械人模型，而不是即時接駁真實機械人的現成方案。

項目主頁 · GitHub · 項目

Categories: 開源, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, VLA, Robotic, 香港, 工具, Python, 庫, Dataset 數據集

RobotWorld：把多模態智能體放進機械人世界測試

Share to X

想比較多模態模型控制不同機械人的能力，RobotWorld 提供 84 項模擬任務及隱藏評測。

Watch RobotWorld in 45 seconds

想測試模型能否由影像和狀態資訊控制機械人，而不只是回答完成任務，RobotWorld 提供一套跨模擬器的機械人基準測試項目。它屬於具身智能體評測框架，讓多模態代理透過觀察與動作介面控制機械臂、靈巧手、人形機械人、四足機械人、汽車及無人機，處理 84 項任務和 20 個 benchmark integrations。

代理只能讀取允許的相機影像、關節及任務狀態，再發出受限制的控制指令；環境會回傳執行收據和新觀察，讓代理修正下一步。任務結果由代理看不到的 hidden evaluators 判定，避免模型自行聲稱成功而取代環境驗證，亦能揭示物件狀態遺失、子目標停滯和錯誤完成判斷等失敗原因。

  • 評測方式：預設每項任務進行三次 rollout，並停用 environment-side code control。
  • 涵蓋範圍：由 manipulation、locomotion 延伸至 driving 和 flight。
  • 執行流程：需要還原 source、準備指定 assets、建立 Docker images、編譯 runtime，以及設定模型 API credentials。
  • 限制：已註冊任務不代表全部都有已驗證的成功軌跡，部分依賴和受限制資料集仍需另行取得。

相比只測文字答案或單一機械人的方法，RobotWorld 把模型推理、感知、控制和環境回饋放入同一條閉環，較適合研究團隊比較不同多模態模型、重現評測流程，或為新任務和新 embodiment 擴充測試。代價是安裝和資源準備較複雜，結果亦會受模擬器、模型設定及每項任務預算影響。

項目主頁 · GitHub

Categories: 開源, 模型, 多模態模型, API, Image, World-Action Model, Robotic, 框架, Anthropic, Dataset 數據集

VIEScore2 讓影像評分不再只剩一個分數

Share to X

VIEScore2 同時評估影像質素、語意一致性與缺陷位置，將難以解讀的分數轉成可追蹤的修改方向。

teaser

評估 AI 生成或編輯影像時，單一分數往往只能告訴你好不好，卻說不出問題在哪裏。VIEScore2 屬於影像評估模型，處理生成圖、編輯圖、提示詞及可選的條件影像，並在一次模型運算中輸出質素、語意一致性和缺陷位置。

Qwen3-VL-8B 經微調後，以自回歸方式同時預測 perceptual-quality（PQ）、semantic-consistency（SC）及 16×16 defect grid；artifact 和 misalign 兩個通道可分開標示視覺瑕疵與語意錯位。參數免訓練的 parser 再把網格結果穩定轉成文字解釋，避免說明內容與定位結果互相矛盾。

相比只輸出總分的評估器，VIEScore2 提供較具操作性的空間線索；相比通用 VLM，模型則專注於影像評分和缺陷定位，代價是網格以 16×16 單元表達，細節精度有限。訓練資料把 ImagenWorld、RichHF-18K、PAL4VST、COCO 的遮罩或熱圖，以及 EvalMuse-40K 的分數資料統一成同一格式，再以 SFT 和 GRPO 配合 cell-level Dice、分數準確度及格式有效性獎勵訓練。

GitHub 儲存庫提供評估協議、資料 manifests、外部測試集轉換器，以及 run_eval.py；可使用本地 checkpoint，亦支援 OpenAI、Gemini 和 Anthropic API backend。主要套件包括 AbHuman、AGIQA-3K、EvalMuse、PAL4VST 等評估集，適合研究影像生成模型、建立自動質量檢查流程，或分析編輯結果的錯誤位置。

  • 評分更完整：同時輸出 PQ、SC、缺陷網格及文字解釋。
  • 結果較接近人評：主要測試集 overall-score SRCC 為 0.601，最佳 VLM baseline 為 0.491。
  • 定位能力具競爭力：6 個定位基準中有 3 個取得最高 grid IoU，5 個進入前三。
  • 限制清晰：網格定位仍屬區域級提示，並需要按儲存庫協議整理資料與輸入格式。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 模型訓練, Qwen, NVIDIA, OpenAI, Gemini, API, Image, 提示詞, 庫, Anthropic

RecursiveGameCreator：讓你的創意從原型走向成功的遊戲開發框架

Share to X

Recursive Game Creator 把設計、開發、遊玩與評審串成循環，令 AI 遊戲開發不止於成功運行。

Recursive Game Creator framework: Designer, Builder, coding-native Player, and Reviewer connected through game developme

遊戲能夠運行，不代表玩家會覺得好玩。Recursive Game Creator 將 Designer、Builder、coding-native Player 與 Reviewer 串成循環，屬於一個 Agentic Product-Level Experience-Oriented Game Harness，處理 AI 由可玩原型持續改良至完整遊戲時，缺乏體驗評估的問題。

Player 會透過程式介面執行可重用的 gameplay policies，收集多條 gameplay trajectories，毋須每個動作都重新呼叫模型，較適合反覆測試機制與內容。Reviewer 再結合行為軌跡、畫面觀察、玩家偏好及遊戲專屬準則，為下一輪 Designer 計劃提供修訂回饋。

項目支援 HTML 和 Godot，遊戲可在隔離 runtime 內開發及測試，亦可選擇接入影像、3D asset 與 Blender。macOS 或 Linux、Git、Node.js 22/npm，以及運行中的 Docker daemon 是主要環境要求；Docker 使用 software rendering，主機不必配備 GPU。

目前公開結果以三輪迭代展示改良，GameCraft-Bench overall 由 R1 至 R3 提升 5.19 points。這個數字反映循環式修訂的效果，但未等同所有遊戲都能獲得相同體驗，因為評審準則、玩家偏好及遊戲類型仍會影響結果。

較適合研究 agentic game development、需要大量自動 playtesting 的團隊，以及希望比較遊戲版本演進的開發者。實驗可從 HTML 遊戲開始，再按需要加入 Godot、視覺素材或 Blender 整合，先驗證設計—開發—遊玩—評審流程是否符合自身工作流。

  • 以四個角色連接設計、實作、遊玩與評審
  • 透過 reusable policies 收集 gameplay trajectories
  • 同時考慮行為、畫面與玩家偏好
  • 支援 HTML、Godot、3D asset 及 Blender 整合
  • GameCraft-Bench 三輪迭代提升 5.19 points

項目主頁 · GitHub

Categories: 開源, 香港大學, Agentic, 模型, DeepSeek, Image, 框架, 香港, 軟件, Mac, 3D, Linux, 編程

WorldSonus 為影片補上可互動立體聲音

Share to X

WorldSonus 將影片動態、文字指令和立體聲音同步起來，讓世界模型生成的畫面不再只有無聲場景。

WorldSonus architecture

影片中的腳步、流水和列車聲可以隨畫面變化，甚至在生成途中接受新的文字指令。WorldSonus 是一個影片轉音訊模型，處理世界模型和互動影片缺少同步聲音的問題，並以每 100 毫秒一段的方式生成 48 kHz 立體聲。

它採用 streaming causal autoregressive diffusion 架構，讓影片畫面經過兩種時間尺度的視覺 token 後，交由 AR transformer 和 rectified-flow head 生成音訊。生成模型、audio decoder、normalization statistics，以及凍結的 DINOv3 和 T5Gemma 2 視覺／文字編碼器分工合作；文字提示可在 chunk 邊界更新，同時保留聲音連續性。

• 支援離線生成和 streaming generation，兩者使用同一條三幀生成路徑
• Visual temporal differences、Ring-KV 歷史狀態和 causal decoder convolution states 會跨 chunk 保留
• 可用影片加提示詞控制聲音，也可只用影片作條件
• 輸出為 stereo 48 kHz 音訊，片段長度會按 100 毫秒 chunk 向下取整

研究結果給出的 real-time factor (RTF) 是 0.41，並在開放領域 video-to-audio benchmark 中達到或超越部分雙向模型的聲學質素和空間對齊表現。不過參考實作沒有承諾固定延遲，模型和編碼器亦要在串流開始前載入，不能直接把 RTF 當成使用者必然取得的端到端延遲。

測試需要 Python 3.10 或以上、支援 CUDA 的 GPU、FFmpeg 和 ffprobe，GPU 驅動程式要預先安裝；設定程序會安裝 CUDA 12.4 的 PyTorch wheels。模型權重和編碼器可從 Hugging Face 下載，適合研究世界模型、影片生成、互動模擬或需要空間聲音的內容製作團隊，但硬件要求和上游模型的授權／存取條件仍需先核對。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, AI productions, 模型, 世界模型, NVIDIA, Gemini, Video, Audio, 提示詞, 香港, Python, Dataset 數據集
Page 1 of 167
1 2 3 … 167