AIRUS EvalOps
Модель, промпт, RAG-источник или маршрут поменялись — качество могло молча упасть. AIRUS прогоняет ваши golden-кейсы, показывает quality delta и блокирует релиз, если стало хуже.
Что делает
Проверяет AI не «на глаз», а на ваших данных детерминированными evaluator'ами (код-правила — воспроизводимо и проверяемо):
Eval Run
POST /v1/airus/evals/run → прогон golden-датасета через маршрут: pass_rate, cost, latency, разбивка по evaluator'ам + Eval Run Receipt.
Model-vs-Model
POST /v1/airus/evals/compare → baseline vs candidate: quality_delta, cost_delta, latency_delta. Дешевле и быстрее ≠ лучше.
Quality Gate
Правила { metric, operator, value, on_fail } → решение: pass / block_release / manual_review / finance_approval. Нельзя в прод, пока не прошёл порог.
Evaluators
exact_match, contains, regex_match, json_valid, schema_has_keys, min_length, not_contains. LLM-as-judge и semantic — roadmap.
Как вызвать
curl https://airus.world/v1/airus/evals/compare \
-H "Authorization: Bearer airus_sk_…" -H "Content-Type: application/json" \
-d '{
"baseline_route": "airus:auto-support-v1",
"candidate_route": "airus:auto-support-v2",
"dataset": [
{ "input": "Как оформить возврат?",
"evaluators": [{ "type": "contains", "expected": "14 дней" },
{ "type": "not_contains", "expected": "пароль" }] }
],
"gate": [
{ "metric": "pass_rate", "operator": ">=", "value": 0.9, "on_fail": "block_release" },
{ "metric": "cost_delta_percent", "operator": "<=", "value": 25, "on_fail": "finance_approval" }
]
}'В ответе — quality_delta, метрики baseline/candidate, gate_decision и провалившие правила. Готовый ответ для PM/CTO: релизить или нет.
Честно про evals
- Evaluator'ы v0 — детерминированный код (exact/contains/regex/json/schema/length): воспроизводимо, без «магии judge».
- LLM-as-judge, semantic_similarity (embeddings), groundedness, pairwise, human review — roadmap (GET /v1/airus/evals/evaluator-types).
- p95_latency в v0 = средняя латентность как прокси (малые датасеты); полноценные перцентили — roadmap.
- Прогон реально вызывает модель через шлюз (биллится как обычный трафик); содержимое не логируется.
- Golden dataset — ваш (заявки, договоры, звонки, тендеры, RAG-вопросы), а не публичные бенчмарки.