TypeSafe AIがAPIとコンソールで問題を報告 TTypeSafe AI2026/9/21 17:40:00 TypeSafe AIは、API/consoleでいくつかの問題が見られると述べ、調査中であるとした。 同社はステータスページを指摘した:https://status.typesafe.ai。 #typesafe-ai#api#インシデント
Hamed Nilforoshan氏、HiringCafe向けにOpenAI Decisions APIとJevをベンチマーク比較Hamed Nilforoshan氏がHiringCafeでOpenAI Decisions APIとJevを評価したところ、求人検索の関連性判定においてOpenAIのAPIはコストが2倍で、性能が5%〜10%劣る結果となりました。
DTapのレッドチーム、Jev 1.13の直接悪用ASRは70.1%と報告Zhaorun Chenは、DTap上でJev 1.13をレッドチーム評価した結果、直接悪用の攻撃成功率が70.1%、間接プロンプトインジェクションが43.5%だったと述べている。Jevで自身のツール呼び出しをゲートするとその成功率は下がり、効用の大部分は保たれたという。TypeSafe AIはJevが機能していないのかを疑問視し、組み合わせやすさのために作られていると述べている。
a16zがTypeSafe AIのJevを議論、信頼度付きで選択肢を返すモデルDiogo Almeidaがa16zのBen Horowitz、Martin CasadoとJevについて話した。Jevはソフトウェアの中で動くように作られたモデルだ。自然言語を読み、選択肢の集合から一つを返し、それぞれに信頼度を付ける。
Jevの新規登録では無料クレジットが付与されなくなったTypeSafe AIは、Jevの新規登録者に無料クレジットを付与しなくなったとし、できるだけ早く復活させたいとしている。JevはTypeSafeコンソールから開始できる。