TypeSafe AI 的 Jev 中介軟體可為 LangChain 託管深度代理進行模型路由
Nathan Drezner (@ndrezn) 表示，使用 LangChain 託管深度代理 的人可以嘗試 TypeSafe AI (@typesafeai) 的 Jev 中介軟體 進行模型路由。
根據該帖文，用戶定義其路由，Jev 負責模型選擇。
相關AI快訊
TypeSafe AI 於 Jev 發佈後在 Modal 平台處理了 1 萬億個 Token
Modal 表示，TypeSafe AI 在 Modal 基礎設施上擴展了 Jev 的部署，自該模型於星期四發佈至星期日期間，共處理了 1 萬億個 Token。
Sydney Runkle 藉 Harness 模型路由器將編程智能體成本降低 64%
Sydney Runkle 表示，在編程智能體的 harness 中集成模型路由器可在不降低輸出質素的前提下削減 64% 的運作成本。該四步工作流程涵蓋理解任務與模型、將路由器直接嵌入 harness，以及追蹤任務結果。
DTap紅隊報告Jev 1.13直接濫用ASR為70.1%
Zhaorun Chen稱，在DTap上對Jev 1.13進行紅隊測試發現，直接濫用的攻擊成功率為70.1%，間接提示注入為43.5%。他表示，用Jev對其自身工具呼叫做門控降低了該成功率，同時保留了大部分效用；TypeSafe AI質疑Jev是否失靈，並稱其是為可組合性而構建。
a16z討論TypeSafe AI的Jev，這款模型會返回帶置信度的選擇
Diogo Almeida與a16z的Ben Horowitz、Martin Casado談了Jev。這是一款為嵌入軟件而構建的模型。它讀取自然語言，從一組選項中返回一個選擇，並給出每個選項的置信度。
新註冊的 Jev 用戶不再獲得免費額度
TypeSafe AI 表示，新註冊的 Jev 用戶不再獲得免費額度，並希望盡快恢復。Jev 可在 TypeSafe 控制台啟動。