新機能 / v2.1.292
$.model.completeのprompt caching対応
CHANGELOG 原文(英語)
Added prompt caching to $.model.complete for mods: prompt and system take blocks of text, and cache: true on a block caches the request up to it 公式の変更履歴を開く ↗ 日本語での補足
mod向けの$.model.completeにprompt cachingを追加。promptとsystemはテキストのブロックを受け取り、ブロックにcache: trueを指定するとそこまでのリクエストをキャッシュできる。
関連ドキュメント
機能の基本的な使い方を確認できます。今回の変更は上の原文をご覧ください。