AIRUS WorkloadShapeOps · Context Budgets / Caching / Async

AIRUS уже умеет выбрать оптимальную модель. Но стоимость и задержка определяются ДО выбора модели: документ → извлечение → retrieval → история → system prompt → tools → output. Умная маршрутизация раздутой себестоимости — это перекрашенный мусоровоз. Следующая единица оптимизации — Cost per Useful Context.

Уменьшить форму workload — потом маршрутизировать

raw workload
  → classify urgency (async только без активного пользователя; сомнение → REALTIME)
  → deduplicate (checksum: один PDF не проходит OCR пять раз)
  → retain minimum sufficient evidence (retrieval budget, не max recall)
  → compact history safely (state, не бесконечная лента; C3/C4 без free summary)
  → reuse exact context (cache identity С tenant — cross-tenant leak = блокер)
  → cap output & reasoning
  → sealed Context Transformation Receipt (ПРОЕКЦИЯ, не измерение)

ВСЁ plan-only: движки выдают план + проекцию, hot-path не трогается

Детерминированные движки

Workload Shape Contract

До маршрутизации workflow задаёт форму: interaction_class (REALTIME/NEARLINE/ASYNC/BATCH/SCHEDULED/BACKGROUND), deadline, input/output/retrieval budgets, history/cache/batch policy. Версионируемый append-only. Самый дешёвый токен — тот, который AIRUS доказуемо не отправил, не потеряв нужную информацию.

Token Budget Compiler

Покомпонентная компиляция ДО вызова: system + reusable_prefix + history + retrieval + tools + user_input + reserved_output + reasoning_reserve. Превышение бюджета → рекомендованная стратегия (priority-pruning / progressive retrieval) или stop. computed, не измерение.

Context Priority + Compression

MUST_INCLUDE / SHOULD / OPTIONAL / EXCLUDE: EXCLUDE и дубли выбывают всегда; по приоритету добавляем в бюджет. MUST не выбрасывается ради бюджета (must_include_exceeds_budget — нельзя тихо выкинуть обязательное). Для C3/C4 свободный summary ЗАПРЕЩЁН — только структурная обрезка с сохранением чисел/дат/отрицаний/обязательств/citations.

Cache Identity (tenant обязателен)

Ключ = tenant + workflow + normalized_request + data_policy + knowledge_version + prompt_version + model_class + output_schema + user_scope → sha256. tenant_id ОБЯЗАТЕЛЕН: cross-tenant cache leakage — одна непростительная ошибка. Ключ без tenant отклоняется (fail-closed).

Semantic Cache decision

Fail-closed: C3/C4 / legal / financial / write-action / personalized → forbidden; пусто/сомнение → forbidden. Похожий по embeddings ≠ business-equivalent («расторгнуть договор» vs «расторгнуть без штрафа»). Реальный business-equivalence classifier + embedding-store = roadmap.

Retrieval Budget Governor

Не максимальный recall любой ценой, а minimum sufficient evidence: max chunks / max tokens / diversity / freshness / dedup. Progressive: расширять retrieval только если первый проход недостаточен. Не грузить всю базу профилактически.

Reasoning + Output Budget

Reasoning NONE/LOW/STANDARD/DEEP по классу задачи (извлечение ИНН ≠ сложный reasoning); авто-повышение только при low confidence / critical. Output: enum/schema/stop → жёсткий потолок. Модель не монетизирует собственную многословность.

Async Eligibility + Document dedup

Async только когда ЯВНО НЕТ активного пользователя + deadline позволяет + идемпотентно + порядок не важен; сомнение/неизвестный флаг → REALTIME (не дешёвая очередь по умолчанию); batch требует deadline. Document dedup — план eligibility: reuse malware/OCR/parse/embeddings разрешается ТОЛЬКО при совпадении checksum+parser+tenant+policy+encryption (fail-closed, filename ≠ identity); реальный server-side artifact-store lookup = roadmap.

Admission Control

До приёма workload: accepted / recommend_async / rejected(429+retry_after). Не превращать необработанную очередь в тайный долг перед клиентом — прогнозируемый retry_after вместо молчаливого накопления.

Context Transformation Receipt

ПРОЕКЦИЯ (computed/estimated, authoritative:false), НЕ измерение: original → priority/dedup-план → projected final tokens. evidence_coverage = declared/эвристика; saving = estimated (не realized без реального transform + Evaluation Gate). canonicalize+sha256, seal-once, verify-from-sealed, DB-immutability (mig 0080).

Честность провенанса

Context Transform Receipt = ПРОЕКЦИЯ из присланных сегментов, НЕ измерение:
  «дано N токенов → priority/dedup-план исключает EXCLUDE/duplicate = −M → projected = K»
  evidence_coverage = declared/эвристика (без реального eval измерить нельзя)
  saving = estimated (без реального transform + Evaluation Gate экономии нет)
  authoritative:false — никогда «AIRUS сжал живой трафик и измерил X»

roadmap (plan_only, не фейкать):
  реальная evidence-preserving LLM-компрессия
  provider prompt-cache adapter (cache_control, provider-semantics)
  semantic embedding-cache + business-equivalence classifier
  cross-provider batch execution, content-addressable OCR/embedding reuse