Prompt Caching и его оплата

Как задать кеширование и проверить чтение, запись и стоимость без двойного учёта.

Кеширование зависит от выбранной модели и протокола. Повторяющийся совместимый префикс может быть записан в кеш, затем считан в следующих запросах. Наличие одинакового текста само по себе не гарантирует попадания: важны порядок, поддержка модели, минимальный объём и срок кеша.

Как использовать

В нативном Messages задавайте поддерживаемый cache_control на нужной границе содержимого. Сначала проверьте минимальный пример ниже. Для OpenAI-совместимых клиентов не предполагайте, что произвольное поле Anthropic будет передано без изменений.

Сохраняйте стабильный префикс, а переменную часть размещайте после него. Изменение раннего содержимого может мешать повторному использованию. Увеличение промпта ради кеша не гарантирует экономию.

Как проверить

В ответе и журнале отдельно смотрите создание и чтение кеша. Первый запрос может создавать кеш, последующий — читать, но результат нужно подтвердить полями использования, а не субъективной скоростью.

В 1Zhe AI чтение и запись кеша оплачиваются по стандартной цене без скидки модели. Ввод и вывод получают свою скидку. Не распространяйте её на всю сумму: высокая доля кеша меняет фактический коэффициент стоимости.

При расхождении сравните модель, протокол, категории токенов и временной интервал. Расчёт · Журнал.

Примеры запросов и конфигурации

Используйте пример для выбранного протокола и версии клиента. Замените учебные ключи и идентификаторы моделей своими. Команды выполняются на вашем компьютере или сервере.

1
curl https://1zheai.com/v1/messages \
2
  -H "x-api-key: $ONEZHE_API_KEY" \
3
  -H "anthropic-version: 2023-06-01" \
4
  -H "content-type: application/json" \
5
  -d '{
6
    "model": "claude-sonnet-5-5",
7
    "max_tokens": 256,
8
    "system": [
9
      {
10
        "type": "text",
11
        "text": "Разместите здесь одинаковый длинный контекст: описание проекта, правила кода, справочные материалы.",
12
        "cache_control": {"type": "ephemeral"}
13
      }
14
    ],
15
    "messages": [{"role": "user", "content": "Проверьте этот код по приведённым выше правилам: ..."}]
16
  }'

1
{
2
  "input_tokens": 23,
3
  "cache_creation_input_tokens": 17920,
4
  "cache_read_input_tokens": 0,
5
  "cache_creation": {"ephemeral_5m_input_tokens": 17920, "ephemeral_1h_input_tokens": 0},
6
  "output_tokens": 4
7
}

1
{
2
  "input_tokens": 23,
3
  "cache_creation_input_tokens": 0,
4
  "cache_read_input_tokens": 17920,
5
  "cache_creation": {"ephemeral_5m_input_tokens": 0, "ephemeral_1h_input_tokens": 0},
6
  "output_tokens": 4
7
}

1
"cache_control": {"type": "ephemeral", "ttl": "1h"}

1
{"prompt_tokens": 3167, "completion_tokens": 4, "total_tokens": 3171}

Prompt Caching и его оплата

Как использовать

Как проверить

Примеры запросов и конфигурации

Внешние источники