Harness-Aware Distillationにより小型モデルエージェントのALFWorld成功率が63.4%に向上
教師モデルの判断を対比させることで、小型言語モデルエージェントにハーネス情報の活用法を学習させる訓練フレームワーク「Harness-Aware Distillation」に関する研究論文が公開された。これにより訓練された生徒モデルは、未知のALFWorldタスクで63.4%の成功率を達成し、8Bの教師モデルを上回った。
教師モデルの判断を対比させることで、小型言語モデルエージェントにハーネス情報の活用法を学習させる訓練フレームワーク「Harness-Aware Distillation」に関する研究論文が公開された。これにより訓練された生徒モデルは、未知のALFWorldタスクで63.4%の成功率を達成し、8Bの教師モデルを上回った。
DeepLearning.AIによると、Anthropicの最新報告は、商用プラットフォーム上の大規模な蒸留キャンペーンの背後にあるプロキシ経由のクエリ転送を指摘している。不正なプロキシがユーザーのプロンプトをClaude APIへ転送し、深刻なデータプライバシーのリスクを生んでいるとしている。