Ваш AI-ассистент отвечает. А он отвечает правильно?
DeepRisk экзаменует ассистента на сотнях вопросов, ставит оценки по каждому ответу и показывает, где он выдумывает и что не находит. Проверка запускается при каждом изменении: модели, промпта или базы знаний. Работает внутри вашего контура и с российскими моделями.
Переключите на v2.4: после смены модели ассистент стал добавлять детали, которых нет в документах. Остальные метрики почти не изменились. Цифры иллюстративные.
Ассистенты ломаются тихо
Ассистент меняется постоянно, а проверка обычно ручная и разовая: 20 вопросов в таблице и «вроде нормально». Ошибки находят клиенты.
- Сменили модельПерешли с GPT на GigaChat или Qwen, чтобы сэкономить или уйти из зарубежного облака. Через месяц бот путает тарифы.
- Обновили базу знанийДобавили новые документы, и бот перестал находить старые ответы. Никто не заметил до первой жалобы.
- Поправили промптОдна «безобидная» правка инструкции, и ассистент начал уверенно додумывать детали.
- Подрядчик сдал ботаИнтегратор говорит «точность 95%». Заказчику нечем это проверить и нечего подписать в акте приёмки.
Галлюцинация в корпоративном боте — это не забавная ошибка, а обещание от имени компании.
Экзамен для ассистента, который не устаёт
DeepRisk подключается к ассистенту так же, как пользователь, через его API. Переделывать ассистента не нужно. Нажмите на шаг.
Четыре оценки, и сразу понятно, что чинить
Корпоративный ассистент сначала ищет фрагменты в документах, потом модель пишет ответ. Ломаться может каждая половина, поэтому оценки разделены.
Contextual Recall порог 0.6
Нашёл ли поиск всё, что нужно для полного ответа.
Contextual Precision порог 0.7
Стоят ли нужные фрагменты в начале, а не потерялись среди лишних.
Faithfulness порог 0.8
Подтверждается ли каждое утверждение ответа найденными документами.
Answer Relevancy порог 0.7
Ответил ли ассистент на заданный вопрос, а не на соседний.
Пороги по умолчанию настраиваются под задачу. Можно добавить свою метрику, например тон ответа или соответствие регламенту.
Где DeepRisk стоит в боевом RAG
Не «векторная база и LLM», а Kafka, S3, индексаторы, кэш, реранкер, гейтвей и контур качества. DeepRisk замыкает этот контур. Нажмите на блок: подсветится всё, что он задевает, как он ломается и какая метрика это ловит.
На телефоне схему можно листать вбок.
Построен на открытых движках. Продукт — всё, что вокруг
Оценки считают DeepEval и RAGAS, две самые популярные открытые библиотеки оценки LLM (Apache-2.0, около 18,6 и 15,9 тыс. звёзд на GitHub). Мы этого не скрываем: библиотека — это инструмент для программиста, а DeepRisk делает из неё процесс для компании.
| Библиотека даёт | DeepRisk добавляет |
|---|---|
| Функции на Python, нужен программист | Веб-интерфейс: проверку запускает аналитик |
| Один движок | Два движка и сверка их оценок |
| Подключение ассистента кодом | Любой API через настройку контракта |
| Таблица в консоли | Отчёты HTML и PDF, история, тренды |
| Нет пользователей и прав | Клиенты, проекты, роли, журнал действий |
| Зарубежные модели по умолчанию | GigaChat, Qwen, DeepSeek, локальные модели |
Лучший момент — когда что-то меняется
Переход на российскую модель без потери качества
Нужно доказать руководству и регулятору, что после перехода с GPT на GigaChat или Qwen ассистент отвечает не хуже. DeepRisk прогоняет одни и те же вопросы через обе модели и показывает разницу в цифрах.
- Установка в закрытый контур, без отправки данных наружу
- Судья на ваших моделях, в том числе без интернета
- Отчёт для руководства и комплаенса
Объективный отчёт при сдаче проекта
Подрядчику нужен отчёт о качестве, заказчику — акт приёмки, который можно проверить. Один набор вопросов, одни пороги, понятный результат для обеих сторон.
- Проекты и роли: каждый заказчик видит только своё
- PDF-отчёт с методологией и примерами ошибок
- Повторная проверка после доработок
Ловить ухудшения до пользователей
Каждую неделю меняются инструкции, поиск, документы. DeepRisk сравнивает каждую версию с прошлой и показывает, что стало лучше, а что хуже.
- A/B промптов и моделей на ваших вопросах
- Сравнение стоимости и скорости моделей в API Runner
- Проверка перед каждым выпуском
Ваши данные остаются у вас
DeepRisk ставится на ваши серверы через Docker. Судьёй может быть российская модель по договору или модель на вашем GPU. Промпты, документы и результаты не покидают контур.
- Проекты и ролиКлиент, проект, инструмент. Доступ выдаётся отдельно к каждому.
- Журнал действийКто что запускал и кому выдавал доступ.
- СекретыКлючи подключений хранятся зашифрованными.
Подключаем любой RAG без доступа к коду
{
"url": "https://rag.internal/api/v1/ask",
"method": "POST",
"headers": { "Authorization": "Bearer ***" },
"body": { "question": "{{user_query}}" },
"extractors": {
"answer": "data.answer",
"chunks": "data.sources"
}
}
Описываете, куда отправить вопрос и где в ответе текст и источники. Формат может быть любым.
Три ступени: от «попробовать» до «работает всегда»
Каждая ступень полезна сама по себе. Большинство клиентов начинают с аудита.
Открытый код
Разверните сами и попробуйте на своём ассистенте.
- Лицензия MIT
- Docker Compose
- Документация
Аудит качества
Подключаем ваш ассистент и проводим полную проверку вместе с вами.
- 100–300 вопросов по вашей базе
- Сравнение 2–3 моделей
- Отчёт и встреча с выводами
Постоянный контроль
DeepRisk в вашем контуре и проверка при каждом изменении.
- Установка и поддержка
- Настройка судьи под вашу задачу
- Обновления и обучение команды
Что обычно спрашивают
Почему не взять DeepEval бесплатно?
Можно. Но это библиотека для программиста. Интерфейс, отчёты, история, права, подключение к вашему ассистенту и российские модели — месяцы работы инженера. Мы даём это готовым и с поддержкой.
Можно ли доверять, если ИИ оценивает ИИ?
Судья — более сильная модель с чёткими правилами, и он объясняет каждую оценку, это можно проверить. Мы сравниваем его оценки с оценками ваших экспертов и подбираем пороги под задачу.
У нас нет эталонных ответов
Часть оценок работает без эталона: «не выдумал ли» и «ответил ли по делу». Набор вопросов соберём вместе на аудите.
Сколько стоит одна проверка?
Работа судьи на 100 вопросах стоит от десятков рублей на недорогой модели до нескольких сотен на дорогой. На своей модели вы платите только за своё железо.
А безопасность, взлом бота?
Мы про качество ответов. Модуль red teaming по OWASP LLM Top 10 есть как опция; для глубокой защиты ассистента в работе рекомендуем специализированные решения.
Вы найдёте все ошибки?
Нет, и никто не найдёт. Мы измеряем качество на представительном наборе вопросов и показываем тренд. Как ОТК на производстве: выборочно, но регулярно и по правилам.
Узнайте, правильно ли отвечает ваш ассистент
Аудит качества за 2–4 недели: ваши вопросы, ваши модели, понятный отчёт и план, что исправить.