Microsoft Research、既存のAIエージェントを強化学習トレーニングに接続する「Agent Lightning」を発表
Microsoft Researchは、既存のAIエージェントを再構築することなく強化学習トレーニングに接続できるツール「Agent Lightning」を発表した。
#reinforcement-learning
すべてのAIニュースを見るAdithya S K、Hugging Face Hub 上で RL Environment Explorer を公開
本ツールにより、開発者は OpenEnv、Harbor、MiMo、Verifiers、NeMo Gym にまたがる強化学習環境の探索、可視化、実行が可能になり、Hugging Face Hub 上の 1,200 万件を超えるタスクエントリを網羅する。
CoreWeaveがForgeを発表、エージェントの追跡・評価・サーバーレス強化学習を連携
CoreWeaveは、エージェントの追跡、評価、サーバーレス強化学習を連携させる環境「CoreWeave Forge」を発表した。本プラットフォームには無料の開始枠があり、新規アカウント向けに30日間のProトライアルも提供される。
Xiaomi、強化学習に品質チェックリストスコアを導入しMiMo-V2.6-Proのテストハッキングを防止
テスト合格のみを目的に訓練されたモデルが不要なコードを挿入したりエラーを黙殺したりする問題に対し、Xiaomiはテスト結果に品質チェックリストスコアを乗算して対処した。調整後のMiMo-V2.6-Pro RLはArtificial Analysis Intelligence Indexで46点を獲得し、オープンウェイトモデルで首位となった。
CoreWeaveが強化学習向けにモデル重みをリアルタイム更新する「RL Rollouts」を発表
CoreWeaveは、強化学習中に進行中のリクエストを中断することなく、稼働中の推論デプロイに新しいモデルの重みを直接ロードするインフラ機能「RL Rollouts」を発表した。NVIDIAとYou.comはこの機能を利用し、Web検索向けにNemotron 3.5 Lightningの事後学習を行った。
Scale AI、強化学習環境向け基盤ランタイム「AgentEnv」をオープンソース公開
Scale AI は、自社で AI エージェント訓練用の強化学習環境を動かすために内部で使用している基盤ランタイム「AgentEnv」をオープンソースとして公開しました。
Meta AI、長期研究エージェント向けアーキテクチャ「MIRA」を発表
Meta AIの研究チームは、メタ推論を実行から分離して長期研究タスクにおける意思決定能力を向上させる2コンポーネント構成のエージェントアーキテクチャ「MIRA」を発表した。
Hugging Face Hub、強化学習環境のホスティングに対応
強化学習環境をHugging Face Hub上で直接ホストできるようになり、既存のデータセット基盤を活用して、フレームワークをまたいだ保存、バージョン管理、アクセス制限、プレビューが可能になった。
CMUの論文、ソルバーを変えずにエージェントのハーネスを編集する4B提案モデルを訓練
このハーネス学習論文は強化学習を用いて、提案モデルがタスク、現在のハーネス、実行レポートからハーネスコードを修正する。訓練された4B提案モデルはReasoning Gymの単一ステップ改訂で35B教師モデルを上回り、HotpotQAでの訓練はMuSiQueと2WikiMultihopQAに転移する。
Prime IntellectがPrime Inferenceを発表
Prime IntellectがPrime Inferenceを発表した。同社によると、強化学習や顧客の専用デプロイ向けにすでに数兆トークンを処理したという。
Amazon AGIの論文がエージェント向け強化学習環境のAutoGymを提案
Amazon AGIの論文はAutoGymを提案している。AutoGymは、小さなドメインシードまたは過去のモデル軌跡から、エージェントのタスク、実行可能な環境、検証器をまとめて作成する。
Critical-State RLは結果を変えるツール呼び出しだけを学習する
DAIR.AIは、後の報酬を変える行動にあたるマルチターンのツール呼び出しを切り分け、その呼び出しだけを更新するSalesforce AI Researchの手法を説明している。BFCL v4のmissing-functionタスクでは、選んだターンを学習すると約14ポイント上がる。
SuryaがRLの学習実行を配信
Suryaによると、自身のRL学習実行はbrusharena.art/liveで配信されており、着想はLuoFuliに由来する。
Adithya S K、検証可能なRLタスク5,000件超を収めたSmolDataEnvsを公開
SmolDataEnvsは、コードとデータサイエンスで小規模モデルをヒルクライミングするための、検証可能な強化学習環境タスク5,000件超からなるオープンソースのセットです。公開内容には環境、評価、学習が含まれます。
最もきれいな公開ターミナルエージェント向けRLコレクションでも、Salesforce AI Researchの監査を通過したのは35.8%
Salesforce AI Researchは、そのコレクションのクリーン率を35.8%、ほか2件を10.1%と3.3%とした。報酬の誤りは両方向で見つかった。著者らによると、欠陥のある環境を除外するRIVERは、TMaxの環境の30%未満しか使わずに、Terminal-Bench-LiteでのRLの向上幅を106%、Terminal-Bench v2.1で30%増やした。
NVIDIAのSkill2Env、公開Agent Skillsを7,971件のターミナルタスクにコンパイル
Codexのプランナーとクリエイターが各スキルを検証済みのターミナルワークフローに変え、そのスキル自身の品質基準から取ったルーブリックを使う。結果のみの強化学習でQwen3.8-27BはTerminal-Bench 2.1の成績を49.4%から54.1%に上げた。ルーブリックを加えると50.1%にとどまったが、軌跡の比較ではより多く選ばれた。