DTapのレッドチーム、Jev 1.13の直接悪用ASRは70.1%と報告
Zhaorun Chenは、DTap上でJev 1.13をレッドチーム評価した結果、直接悪用の攻撃成功率が70.1%、間接プロンプトインジェクションが43.5%だったと述べている。Jevで自身のツール呼び出しをゲートするとその成功率は下がり、効用の大部分は保たれたという。TypeSafe AIはJevが機能していないのかを疑問視し、組み合わせやすさのために作られていると述べている。
#prompt-injection
すべてのAIニュースを見るDeepLearning.AI: MetaのMuseエージェントがOSレベルでプロンプトインジェクション防御を構築
DeepLearning.AIは、MetaのMuseエージェントはモデルが欺かれることを前提とし、そのためOSレベルでセキュリティを強制すると述べている。モデルは本物の認証情報を一切扱わず、ツールは隔離されたLinuxコンテナで実行され、独立したゲートキーパーが送信呼び出しを検証すると報じている。