Bailey JenningsがONETの職種分類でJevとLunaを比較
Bailey Jenningsは、ONETの職種分類を題材に、TypeSafe AIのJevとLunaを短いデモで比較した。Lunaは完全一致率84.9%、1件あたり約2秒、100万件あたり482ドルだった。Jevは完全一致率80.5%、1件あたり約200ミリ秒、100万件あたり122ドルだった。
彼は差を、精度は約4ポイント低い一方、およそ10倍速く、4倍安いとまとめた。
関連AIニュース
TypeSafe AI、Jev公開後にModal上で1兆トークンを処理
Modalによると、TypeSafe AIはModalのインフラ上でJevの展開規模を拡大し、同モデルが公開された木曜日から日曜日までの間に1兆トークンを処理した。
DTapのレッドチーム、Jev 1.13の直接悪用ASRは70.1%と報告
Zhaorun Chenは、DTap上でJev 1.13をレッドチーム評価した結果、直接悪用の攻撃成功率が70.1%、間接プロンプトインジェクションが43.5%だったと述べている。Jevで自身のツール呼び出しをゲートするとその成功率は下がり、効用の大部分は保たれたという。TypeSafe AIはJevが機能していないのかを疑問視し、組み合わせやすさのために作られていると述べている。
a16zがTypeSafe AIのJevを議論、信頼度付きで選択肢を返すモデル
Diogo Almeidaがa16zのBen Horowitz、Martin CasadoとJevについて話した。Jevはソフトウェアの中で動くように作られたモデルだ。自然言語を読み、選択肢の集合から一つを返し、それぞれに信頼度を付ける。
Jevの新規登録では無料クレジットが付与されなくなった
TypeSafe AIは、Jevの新規登録者に無料クレジットを付与しなくなったとし、できるだけ早く復活させたいとしている。JevはTypeSafeコンソールから開始できる。
論文、Jevの1回のyes/noスコアでアライメント失敗を検出
論文は、TypeSafe AIのJevが追加学習なしで、アライメント失敗と良好な応答を中央値AUROC 0.886で区別したと報告している。19のベンチマークでは、Jevの1回の判定コストは0.30ドルで、各ベンチマークが使うLLM判定者の18.96ドルと比べて低かった。