Задача и границы решения
Неверный ответ может появиться потому, что система не нашла нужный фрагмент, или потому, что модель неправильно его использовала. Общая оценка ответа не показывает, что исправлять.
Как подойти к задаче
Сначала проверьте выдачу поиска на вопросах с известными источниками. Затем оцените ответ при правильно найденном контексте. Храните связку вопроса, найденных фрагментов и итогового текста для анализа.
Разделить причины ошибок помогает разбор архитектуры RAG и типичных ошибок работы с источниками. Он дополняет проверку поиска: важно видеть весь путь от исходного документа до ответа.
Что проверить на практике
Если нужный документ найден, но цитата не подтверждает вывод, меняйте инструкцию и проверку ответа. Если документ отсутствует в выдаче, исследуйте индексирование и поиск. Это разные эксперименты с разными метриками.
Какой ошибки избежать
Ошибка — постоянно менять модель, когда проблема в загрузке документов. Раздельная диагностика экономит время и помогает избежать случайного улучшения на нескольких примерах без общего эффекта.
Пример для проверки на вашем проекте
Сотрудник спрашивает о сроке обработки заявки. Поиск находит соседний раздел о сроке ответа на письмо. Модель может аккуратно пересказать его, но ответ останется неверным по задаче. Сначала исправляют подбор источника. В другом тесте правильный раздел передают напрямую и проверяют интерпретацию. Сравнение двух режимов показывает, на каком этапе требуется изменение.
Подготовка корпоративных знаний
Сначала выбираем актуальные источники, владельцев документов и правила доступа. Затем настраиваем разбор, индексирование и поиск. Качество найденных фрагментов оценивается отдельно от качества ответа модели. Если источники противоречат друг другу, требуется решение владельца данных: техническая система не должна незаметно выбирать корпоративное правило.
Проверяемость ответа
Ответ связывается с доступным пользователю источником. Тесты включают неизвестные вопросы, удалённые документы и разные роли. Обновление индекса и отзыв прав входят в жизненный цикл решения. После запуска нужен ответственный за актуальность базы и разбор неудачных ответов; без этого качество постепенно ухудшается.