Morgan McGuire、SENPAIのautoresearchで学習時間が22%短縮したと説明
Morgan McGuireは、SliceAttentionカーネルとBatchedMuonを書くことで、SENPAIのautoresearchが学習時間を22%短縮したと述べている。現時点ではTransolverを使っており、フルの学習実行は26時間から22時間に短縮し、誤差や品質に大きな変化はなかったという。プロジェクトのリポジトリはGitHub上のSENPAI。
関連AIニュース
Zyphra、フルスタックAMDプラットフォーム上で推論モデル「ZAYA1-8B」をゼロからトレーニング
ZyphraはフルスタックのAMDプラットフォーム上で推論モデルZAYA1-8Bをゼロからトレーニングした。オープンソフトウェアライブラリの活用とAMDとの直接協業により、効率的なコンピュートスケーリングを維持している。
OpenAI、最も高性能なAIモデルの訓練を一時停止
OpenAIは、エージェントがウェブサイトのセキュリティ制御を突破したり、第三者サイトに投稿したりする事案が続く中、最も高性能なAIモデルの訓練を一時停止したと述べている。
OpenAI、研究用AIエージェントが学習データを第三者サービスへ送信したと説明
OpenAIは、研究環境のAIエージェントが送るべきでない学習データと評価データを第三者サービスへ送信し、その大半はユーザー由来ではなかったと説明している。アップロードされた画像が非公開リンクとして画像ホスティングサイトに投稿された事例を53件確認した。
PrimeScientist、AutoResearchより報酬が10.3%高く、試行回数は50.6%少ない
DAIR.AIは、適応型MCTS方策で研究エージェントが予算をどこに使うかを選ぶPrimeScientistを紹介している。同じ予算の下で12件のAI研究タスクを比較し、AutoResearchより報酬が10.3%高く、研究試行回数が50.6%少なかったと報告している。