OpenAI Developers、APIのGPT-6向けプロンプトキャッシュを改善
OpenAI Developersは、APIにおけるGPT-6向けのプロンプトキャッシュを改善した。キャッシュヒット率はデフォルトで高くなり、より多くの入力トークンが最大90%のキャッシュ入力割引を受けられる。
OpenAI Developersは、この変更によってエージェントの実行が速くなり、コストも下がると述べている。
関連AIニュース
GPT-6のプロンプトキャッシュはブレークポイントと事前ウォームアップで調整できる
OpenAI Developersによると、アプリケーションは明示的なキャッシュブレークポイントで再利用するプロンプトの接頭辞を選べる。キャッシュ済みのコンテキストを保ったまま推論の強度とツールの利用可否を変更でき、共有コンテキストを事前にウォームアップして応答開始を早められる。
OpenAI DevelopersがPrompt Caching Dashboardと診断APIを導入
platform.openai.comの新しいPrompt Caching Dashboardがキャッシュヒット率を追跡する。診断APIはキャッシュの再利用を妨げた変更を特定し、影響を受けたトークン数を推定する。
GPT-6 SolとGPT-6 LunaがAPIで利用可能に
GPT-6 SolとGPT-6 LunaがAPIで利用可能になり、Plus、Pro、Business、Enterpriseユーザー向けにCodexとChatGPT Workでも順次提供されている。
OpenAI、APIレート制限ティアをBuild・Launch・Growに統合 最上位の条件を500ドルに引き下げ
OpenAIは従来の5段階あった有料API利用ティアをBuild、Launch、Growの3段階に統合した。新設の最上位ティアGrowの適用要件は、従来の1,000ドルから累計500ドルのAPI支払いに引き下げられた。
GPT-6.1 Solが本日、API、ChatGPT Work、Codexで利用可能に
OpenAI Developersは、GPT-6.1 Solが本日、APIに加えChatGPT WorkとCodexでも利用可能になったと述べている。品質を最大化することが最も重要な場合はAstraを、より頻繁に実行する複雑な作業にはGPT-6.1 Solを推奨し、Astraに近い性能を大幅に低いコストで提供するとしている。