Hamed Nilforoshan氏、HiringCafe向けにOpenAI Decisions APIとJevをベンチマーク比較
Hamed Nilforoshan氏がHiringCafeでOpenAI Decisions APIとJevを評価したところ、求人検索の関連性判定においてOpenAIのAPIはコストが2倍で、性能が5%〜10%劣る結果となりました。
Hamed Nilforoshan氏がHiringCafeでOpenAI Decisions APIとJevを評価したところ、求人検索の関連性判定においてOpenAIのAPIはコストが2倍で、性能が5%〜10%劣る結果となりました。
Modalによると、TypeSafe AIはModalのインフラ上でJevの展開規模を拡大し、同モデルが公開された木曜日から日曜日までの間に1兆トークンを処理した。
Google Gemma によると、vLLM で応答テンプレートを使ってキャンバスを初期化すると、DiffusionGemma は1回のデノイジングステップで、はい/いいえ、多肢選択、スコア付きの質問について信頼度スコアと確率分布を返せる。
Zhaorun Chenは、DTap上でJev 1.13をレッドチーム評価した結果、直接悪用の攻撃成功率が70.1%、間接プロンプトインジェクションが43.5%だったと述べている。Jevで自身のツール呼び出しをゲートするとその成功率は下がり、効用の大部分は保たれたという。TypeSafe AIはJevが機能していないのかを疑問視し、組み合わせやすさのために作られていると述べている。
JevBench で、OpenRouter によると solar-decide の精度は 87.0%、Jev 1.13 は 86.1% で、遅延の中央値は 0.14 秒対 0.30 秒だった。
Diogo Almeidaがa16zのBen Horowitz、Martin CasadoとJevについて話した。Jevはソフトウェアの中で動くように作られたモデルだ。自然言語を読み、選択肢の集合から一つを返し、それぞれに信頼度を付ける。
TypeSafe AIは、Jevの新規登録者に無料クレジットを付与しなくなったとし、できるだけ早く復活させたいとしている。JevはTypeSafeコンソールから開始できる。
論文は、TypeSafe AIのJevが追加学習なしで、アライメント失敗と良好な応答を中央値AUROC 0.886で区別したと報告している。19のベンチマークでは、Jevの1回の判定コストは0.30ドルで、各ベンチマークが使うLLM判定者の18.96ドルと比べて低かった。
OpenRouterによると、Jevは週次の分類リクエスト量の27%を占め、これまでこのカテゴリーをリードしていたDeepSeek V4 Flashのシェアのほぼ2倍だった。
elvis によると、小規模なサポートエージェントで、Jev Router と固定の GPT-6 Sol ベースラインは、計32回の呼び出しですべて8件を解決した。ルーターの費用は0.008ドルで、比較対象は0.018ドル。応答時間の中央値は1.5秒で、比較対象は1.9秒。
Isaac Millerによると、DSPy 3.4.0はJevとSystem Oneモデルのネイティブ対応を追加し、信頼度に基づいて出力を較正するオプティマイザーReAnchorを導入する。
OpenRouterによると、すでにJevを呼び出している開発者は、modelフィールドをjaredpalmer/kev-4bに変えるだけでKevに切り替えられる。
Jev-as-a-Judgeの論文は、TypeSafe AIのJEVが確信を持って出した判定を採用し、残りをGPT-6 Astraへエスカレーションすると、510件のホールドアウト選好ペアでGPT-6の精度の99%を、GPT-6の料金の約57%で維持したと報告している。著者らは、エスカレーションの閾値はすべてのフォールバックモデルへそのまま移せず、自らのデータで設定すべきだとしている。
Pydanticによると、エージェントはTypeSafe AIのJev分類器を使い、型付きの質問に答える。各エージェントの既存の出力モデルを返し、フィールドごとに1つの信頼度スコアが付く。
2026年9月22日、Ahmad Awaisは、JevをCommand Codeで無料提供すると述べ、利用はヘッドレスモードまたはProvider APIに限られるとした。また、mod「cmd-mod-jev-nudge」をオープンソース化した。
JevはヘッドレスモードかProvider API経由でのみ利用できる。Ahmad Awaisはmod「cmd-mod-jev-nudge」もオープンソース化し、無料提供は作業が残っている間エージェントを動かし続けるためのものだと述べている。
Shahriar Tajbakhshは、Metaviewが週末にTypeSafe AIのjevをすべてのエージェントに追加したと述べた。同氏によると、ソーシング製品の候補者検索は数分から数秒になり、精度は同じで速度は約10倍、検索あたりのコストは有意に低下したという。
OpenRouter ClassifiersではtypesafeaiのJevを使ってLLMリクエストを自動分類でき、結果はExploreで分析できる。
TypeSafeは、TypeSafeのJevモデルを搭載したSQL関数prompt_jev()によりテキスト分類が約50倍高速でコスト約1%になったというMotherDuckの主張を引用した。MotherDuckは、LLMでは32分・37ドルかかるのに対し、100k行を40秒・0.50ドルで処理したと報告した。
TypeSafe AIはJevが現在利用可能であると述べ、https://console.typesafe.ai にリンクしました。投稿ではJevが何であるかやアクセス条件は指定されていませんでした。