Anthropic внедрил автокеширование промптов для...

Anthropic внедрил автокеширование промптов для Claude API, снижая затраты на токены на 90%

Anthropic представил функцию автоматического кеширования промптов для своего API Claude, которая позволяет сократить затраты на повторяющиеся токены на 90% и уменьшить задержку при обработке повторяющегося контекста. Эта функция особенно полезна для ИИ-агентов, которые часто отправляют одни и те же системные промпты или определения инструментов.

Основная идея заключается в том, что система кэширует предварительные вычисления для идентичных частей промпта, повторно используя их вместо пересчета. Для активации достаточно добавить параметр "cache_control": {"type": "ephemeral"} в API-запрос подробнее.

Ссылка: https://x.com/RLanceMartin/status/2024573404888911886