DSPy 3.4.0がJevとSystem Oneのネイティブ対応を追加
Isaac Millerによると、DSPy 3.4.0がリリースされ、DSPy内でJevとSystem Oneモデルをネイティブにサポートする。これらのモデルは互換性のあるシグネチャで利用できる。
今回のリリースでは、信頼度に基づいて出力を較正するオプティマイザーReAnchorも追加される。
関連AIニュース
Hamed Nilforoshan氏、HiringCafe向けにOpenAI Decisions APIとJevをベンチマーク比較
Hamed Nilforoshan氏がHiringCafeでOpenAI Decisions APIとJevを評価したところ、求人検索の関連性判定においてOpenAIのAPIはコストが2倍で、性能が5%〜10%劣る結果となりました。
DTapのレッドチーム、Jev 1.13の直接悪用ASRは70.1%と報告
Zhaorun Chenは、DTap上でJev 1.13をレッドチーム評価した結果、直接悪用の攻撃成功率が70.1%、間接プロンプトインジェクションが43.5%だったと述べている。Jevで自身のツール呼び出しをゲートするとその成功率は下がり、効用の大部分は保たれたという。TypeSafe AIはJevが機能していないのかを疑問視し、組み合わせやすさのために作られていると述べている。
a16zがTypeSafe AIのJevを議論、信頼度付きで選択肢を返すモデル
Diogo Almeidaがa16zのBen Horowitz、Martin CasadoとJevについて話した。Jevはソフトウェアの中で動くように作られたモデルだ。自然言語を読み、選択肢の集合から一つを返し、それぞれに信頼度を付ける。
Jevの新規登録では無料クレジットが付与されなくなった
TypeSafe AIは、Jevの新規登録者に無料クレジットを付与しなくなったとし、できるだけ早く復活させたいとしている。JevはTypeSafeコンソールから開始できる。
Pydantic AIエージェントがJev上で動作するようになった
Pydanticによると、エージェントはTypeSafe AIのJev分類器を使い、型付きの質問に答える。各エージェントの既存の出力モデルを返し、フィールドごとに1つの信頼度スコアが付く。