AIニュース
公司内部站点 · 页面资源保存在本地(2026-10-17 06:31 UTC)· 独立 X 采集尚未配置;互动计数仅限本站

#jev

すべてのAIニュースを見る

DTapのレッドチーム、Jev 1.13の直接悪用ASRは70.1%と報告

Zhaorun Chenは、DTap上でJev 1.13をレッドチーム評価した結果、直接悪用の攻撃成功率が70.1%、間接プロンプトインジェクションが43.5%だったと述べている。Jevで自身のツール呼び出しをゲートするとその成功率は下がり、効用の大部分は保たれたという。TypeSafe AIはJevが機能していないのかを疑問視し、組み合わせやすさのために作られていると述べている。

JEVのカスケードは料金の約57%でGPT-6の精度の99%を維持

Jev-as-a-Judgeの論文は、TypeSafe AIのJEVが確信を持って出した判定を採用し、残りをGPT-6 Astraへエスカレーションすると、510件のホールドアウト選好ペアでGPT-6の精度の99%を、GPT-6の料金の約57%で維持したと報告している。著者らは、エスカレーションの閾値はすべてのフォールバックモデルへそのまま移せず、自らのデータで設定すべきだとしている。

TypeSafe、MotherDuckのprompt_jev()をテキスト分類で約50倍高速・約100倍安価と強調

TypeSafeは、TypeSafeのJevモデルを搭載したSQL関数prompt_jev()によりテキスト分類が約50倍高速でコスト約1%になったというMotherDuckの主張を引用した。MotherDuckは、LLMでは32分・37ドルかかるのに対し、100k行を40秒・0.50ドルで処理したと報告した。