TypeSafe AI 於 Jev 發佈後在 Modal 平台處理了 1 萬億個 Token
據 Modal 表示，TypeSafe AI 團隊在其運算基礎設施上，自 Jev 於星期四發佈至星期日期間共處理了 1 萬億個 Token。Modal 亦分享了一段影片概覽，詳細介紹該團隊在其平台上擴展 Jev 的過程。
相關AI快訊
DTap紅隊報告Jev 1.13直接濫用ASR為70.1%
Zhaorun Chen稱，在DTap上對Jev 1.13進行紅隊測試發現，直接濫用的攻擊成功率為70.1%，間接提示注入為43.5%。他表示，用Jev對其自身工具呼叫做門控降低了該成功率，同時保留了大部分效用；TypeSafe AI質疑Jev是否失靈，並稱其是為可組合性而構建。
a16z討論TypeSafe AI的Jev，這款模型會返回帶置信度的選擇
Diogo Almeida與a16z的Ben Horowitz、Martin Casado談了Jev。這是一款為嵌入軟件而構建的模型。它讀取自然語言，從一組選項中返回一個選擇，並給出每個選項的置信度。
新註冊的 Jev 用戶不再獲得免費額度
TypeSafe AI 表示，新註冊的 Jev 用戶不再獲得免費額度，並希望盡快恢復。Jev 可在 TypeSafe 控制台啟動。
論文用一次 Jev 是/否評分標記對齊失敗
一篇論文報告，TypeSafe AI 的 Jev 無需額外訓練，就能以 0.886 的中位 AUROC 把對齊失敗與良好回應區分開。在 19 項基準上，一次 Jev 評估成本為 0.30 美元，而這些基準所用的 LLM 評判成本為 18.96 美元。
JEV 級聯以約 57% 費用保留 GPT-6 準確率的 99%
一篇 Jev-as-a-Judge 論文報告，接納 TypeSafe AI 有信心的 JEV 判定，並把其餘個案升級至 GPT-6 Astra，在 510 組留出偏好配對上保留了 GPT-6 準確率的 99%，費用約為 GPT-6 的 57%。作者表示，升級閾值並非對每個後備模型都能轉移，應按自身數據設定。