InferNews

現實生活中，AI智能體幫我們安排行程、操作工具時，往往不會一開始就掌握所有限制條件，而是邊做邊發現新約束。AdaPlanBench（Adaptive Planning Benchmark）正是針對這種「邊做邊調整」的能力而設計的評測基準。它把 307 個家居任務當作起點，再用一套可擴展的約束構建流程，為每個任務加上兩類限制，逐步揭示給智能體。

這套基準的獨特之處在於「雙重約束」（dual constraints）與「逐步披露」（progressive disclosure）。一類是世界約束（World Constraints），即環境中不可用或失效的工具與物件；另一類是用戶約束（User Constraints），即用戶對工具屬性、使用方式或行為的偏好禁止。智能體每回合提交計劃，評判機制比對目前已揭示的約束並打分，違規時回饋錯誤，智能體需在多輪互動中持續修訂策略。

測試結果顯示這件事對現有模型而言並不容易。在中等約束量下，表現最強的 GPT-5 僅達到 67.75% 準確率，多數模型低於 45%，開源權重模型普遍在 30% 上下。研究亦發現，有效計劃率（VPR）高並不等於任務成功，約束增加時表現明顯下滑，而用戶約束帶來的挑戰尤其突出。

這個項目適合誰？ 如果你研究 LLM 智能體的規劃能力、互動決策或多輪推理，又或者你在做 Computer-use agents（CUAs）、OSWorld 等環境的應用開發，AdaPlanBench 提供了一個貼近真實、難度可控的測試場景。約束量設有低、中、高三檔（另有 4–6 檔作壓力測試），方便按需要調整難度。

以下是這個基準值得留意的重點：

• 雙重約束聯合測試：在同一規劃回合中同時考驗世界與用戶兩類限制，比單一約束設定更貼近現實。
• 增量披露設計：約束隨對話逐步揭示，逼智能體從回饋中推導並追蹤限制，而非依賴一次性完整規格。
• 可調節難度：每條查詢配備六種環境設定，已公開 Low、Medium、High 三檔，支援不同程度的壓力測試。
• 多輪回饋循環：智能體在達標、提早停止或回合耗盡前持續迭代，提供更豐富的行為數據。
• 多維度評估指標：除準確率外，亦記錄有效計劃率、平均回合數與重複違規率，協助診斷失敗模式。

涵蓋的模型包括 GPT-5、Claude 系列，以及多款主流開源權重 LLM，整體結果一致指向同一結論：在約束持續累積的情境下，當前 LLM 智能體仍難以做到穩健的適應性規劃。

GitHub： https://github.com/JiayuJeff/AdaPlanBench

現實生活中，AI智能體幫我們安排行程、操作工具時，往往不會一開始就掌握所有限制條件，而是邊做邊發現新約束。AdaPlanBench（Adaptive Planning Benchmark）正是針對這種「邊做邊調整」的能力而設計的評測基準。它把 307 個家居任務當作起點，再用一套可擴展的約束構建流程，為每個任務加上兩類限制，逐步揭示給智能體。

這套基準的獨特之處在於「雙重約束」（dual constraints）與「逐步披露」（progressive disclosure）。一類是世界約束（World Constraints），即環境中不可用或失效的工具與物件；另一類是用戶約束（User Constraints），即用戶對工具屬性、使用方式或行為的偏好禁止。智能體每回合提交計劃，評判機制比對目前已揭示的約束並打分，違規時回饋錯誤，智能體需在多輪互動中持續修訂策略。

測試結果顯示這件事對現有模型而言並不容易。在中等約束量下，表現最強的 GPT-5 僅達到 67.75% 準確率，多數模型低於 45%，開源權重模型普遍在 30% 上下。研究亦發現，有效計劃率（VPR）高並不等於任務成功，約束增加時表現明顯下滑，而用戶約束帶來的挑戰尤其突出。

這個項目適合誰？ 如果你研究 LLM 智能體的規劃能力、互動決策或多輪推理，又或者你在做 Computer-use agents（CUAs）、OSWorld 等環境的應用開發，AdaPlanBench 提供了一個貼近真實、難度可控的測試場景。約束量設有低、中、高三檔（另有 4–6 檔作壓力測試），方便按需要調整難度。

以下是這個基準值得留意的重點：

• 雙重約束聯合測試：在同一規劃回合中同時考驗世界與用戶兩類限制，比單一約束設定更貼近現實。
• 增量披露設計：約束隨對話逐步揭示，逼智能體從回饋中推導並追蹤限制，而非依賴一次性完整規格。
• 可調節難度：每條查詢配備六種環境設定，已公開 Low、Medium、High 三檔，支援不同程度的壓力測試。
• 多輪回饋循環：智能體在達標、提早停止或回合耗盡前持續迭代，提供更豐富的行為數據。
• 多維度評估指標：除準確率外，亦記錄有效計劃率、平均回合數與重複違規率，協助診斷失敗模式。

涵蓋的模型包括 GPT-5、Claude 系列，以及多款主流開源權重 LLM，整體結果一致指向同一結論：在約束持續累積的情境下，當前 LLM 智能體仍難以做到穩健的適應性規劃。

GitHub： https://github.com/JiayuJeff/AdaPlanBench

大型語言模型（LLMs）會背誦訓練資料，但現有的記憶性評估大多只關心「能不能逼它說出來」，而忽略了「它在一般使用下到底會不會自己講」。PropMe 正是針對這個落差而設計的傾向感知（propensity-aware）評估框架，它把前綴式的能力攻擊（prefix-style capability attacks）與日常、非對抗的生成結果並列比較，計算出模型在真實情境下洩漏訓練資料的傾向。

整個項目的運作有兩大部分。PropMe 負責定義指標與分析邏輯；SimpleTrace 是一個建基於 infini-gram 的輕量離線追蹤流水線，負責為訓練語料建立索引、把模型生成結果對應回來源文檔，再計算出 verbatim、near-verbatim 與傾向轉換後的記憶性指標。流程包含索引建立、unigram 機率預計算、生成結果追蹤、驗證與傾向指標運算等步驟，資料夾 README 都各有詳細說明。

PropMe 以兩個完全開源的模型——Comma 與 DFM Decoder——在 Common Pile 與 Dynaword 兩份雙語資料集上做實驗。結果顯示能力（capability）與傾向（propensity）之間存在穩定落差：前綴攻擊能引出明顯的記憶痕跡，但日常或資料集特定的提示下，傾向分數普遍偏低。另一個有趣的發現是，從 Comma 持續預訓練而成的 DFM Decoder，對 Common Pile 的記憶能力與傾向都下降，顯示後續訓練若側重不同資料，能降低既有的記憶行為。

這個項目適合關注模型安全、版權與資料外洩的研發人員、模型審計人員及學術研究者。如果你正在評估自家模型的記憶風險，PropMe 提供了把「最壞情況抽取性」與「日常洩漏傾向」分開呈現的具體做法，比單純跑前綴攻擊更能反映真實部署風險。

重點摘要：

• 問題意識：區分模型「被逼才會背」與「日常會背」兩種不同行為。
• 核心框架：PropMe 負責傾向指標，SimpleTrace 負責把生成結果追蹤回訓練文檔。
• 技術基礎：建立在 infini-gram 之上，支援 verbatim、near-verbatim 與傾向轉換指標。
• 評估模型：Comma 與 DFM Decoder，資料集涵蓋 Common Pile 與 Dynaword 兩種語料。
• 實用價值：為模型記憶性審計提供比純粹對抗攻擊更貼近真實使用的衡量方式。

GitHub： https://github.com/N-essuno/PropMe

Paper： https://arxiv.org/pdf/2606.06286

video-spec-builder 不是剪片工具，也不是影像生成器，而是先幫你把想法講清楚的項目。你向 AI 說想做一條片，它會像導演開會一樣一路追問，將原本模糊的方向整理成逐鏡腳本，最後輸出 video-spec.md。

這個項目處理的痛點很明確：很多人不是沒有概念，而是不知道怎樣把感覺變成畫面。像是「要高級感」、「要有衝擊力」這類抽象字眼，它不會照單全收，而是要求你交代鏡頭內容、動作、長度，以及前後段落怎樣接起來。

使用時可以分兩類情境。第一類是從零開始，讓它一步步問出影片目的、受眾、節奏與重點畫面；第二類是你已經有部分腳本或素材，它會協助重組順序，補回中段缺口，甚至提醒字幕、節奏點和音樂配合這些容易忽略的位置。

• 能把含糊構想拆成具體鏡頭與秒數
• 適合整理產品片、社交媒體短片、公司介紹片
• 重點在追問與釐清，不是直接幫你生成成品
• 可輸出 video-spec.md，方便後續交給 HyperFrames

這個項目的創新不在影像生成，而在「提問式規格整理」。它強迫使用者停止依賴空泛形容詞，改為描述真正會出現在畫面上的內容，對沒有製作經驗的人尤其有幫助。

要留意的是，它的能力邊界寫得很清楚：不能畫插畫、不能生成 live-action footage，也不能產生 photorealistic images。換句話說，這個項目更像前期策劃工具，適合內容團隊、營銷人員、創業者，或者任何手上已有想法和素材、但未整理成可拍腳本的人。

GitHub： https://github.com/feicaiclub/video-spec-builder

隨著 Computer-use agents（CUAs）能直接操作檔案、終端機及瀏覽器，傳統只檢視單一提示或最終回應的內容審核方式已經不足夠。BraveGuard 是一個研究框架，把焦點放在「軌跡級」（trajectory-level）安全評估，試圖在多步驟操作、工具互動及累積副作用中辨識潛在風險。

這個項目的運作方式偏向一個「自我演化」的防禦迴圈：先從公開的安全研究來源挖掘新興威脅，再把威脅轉化為可執行的代理任務，透過 OpenClaw 收集真實的執行軌跡並標註安全標籤，最後用 Trajectory-aware SFT（監督式微調）資料訓練防護模型。模型訓練完成後，邊角案例會回流到下一輪，持續更新防禦能力。

在 AgentHazard 基準測試中，BraveGuard 把防護模型的平均偵測準確率由約 38.79% 提升至約 82.38%，改善幅度相當顯著。框架支援 Qwen3-Guard 及 Llama-Guard 等多種防護模型作為底座，模型權重已於 Hugging Face 開源。

這個項目的重點摘要：

• 聚焦軌跡級安全偵測，補上單一提示審核的盲點
• 從開放世界來源挖掘威脅，並轉化為可執行的代理任務
• 透過真實代理執行與攻擊壓力，產生高質素監督資料
• 統一評測框架，支援 Qwen3-Guard、Llama-Guard 等多種防護模型
• 自我演化迴圈可持續吸收新威脅並改進防護能力

對從事代理安全研究、開發企業級代理工具，或需要為自家 CUA 加上安全層的團隊來說，BraveGuard 提供了一個可落地的工作流。不過框架仍屬研究性質，部署前需要評估其與現有系統的整合成本。

GitHub： https://github.com/Yunhao-Feng/BraveGuard

Paper： https://arxiv.org/pdf/2606.01166

由清華大學、上海 AI 實驗室及北京航空航天大學共同推出的 OVO-S-Bench，是一套專門測試多模態大型語言模型 (Multimodal Large Language Models, MLLMs) 在連續影片中空間理解能力的基準。它針對機械人、AR 眼鏡和自動駕駛等需要「邊看邊想」的真實場景，要求模型根據問題時間點之前看到的畫面片段，推理出地點與佈局的變化，而非讀取整段影片。

題目來源相當多元，涵蓋室內導覽、第一視角活動、戶外場景、駕駛影片及帶有 3D 註解的環境，共 348 段影片。12 位具備 3D 視覺背景的標註員耗時約 804 小時撰寫及反覆核對每條題目，並透過「文字探針」和盲測覆核機制，剔除可憑題幹文字或常識直接答對的題目，確保難度真正來自空間理解。

題目分為四個難度層級，由當下畫面的瞬時感知 (Instantaneous Egocentric Perception)、追蹤離開視野的空間脈絡 (Spatiotemporal Context Tracking)、推測空間變化的生成式推理 (Generative Spatial Reasoning)，到建構全局拓樸地圖 (Global Topological Mapping)。在 38 個開源及商用模型的評估中，即使是表現最佳的 Gemini-3.1-Pro，分數仍比人類專家低 27 分 (59.2 比 86.6)，全局拓樸層級是最大的樽頸。

更值得留意的是，部分聲稱針對串流或空間任務微調的模型，表現反而不如其底層基座模型；而無根據的思維鏈 (chain-of-thought) 推理，往往會放大空間錯誤。這套基準為下一代串流空間模型提供了清晰且嚴謹的試金石。

重點摘要：

• 涵蓋 1,680 條人工撰寫題目及 348 段影片，總標註工時約 804 小時
• 設有問題時間點及證據區間，評估時模型只看到查詢前的影片片段
• 分為四個遞進難度層級，由瞬時感知到全局拓樸建圖
• 38 款 MLLM 中，Gemini-3.1-Pro 取得 59.2 分，人類專家為 86.6 分
• 串流及空間微調模型表現可能反遜於原底座模型

GitHub： https://github.com/InternLM/OVO-S-Bench

項目： https://internlm.github.io/OVO-S-Bench/