Независимый агент-ревьюер: защита от галлюцинаций

Чему вы научитесь

• Объяснить, почему агент-ревьюер должен быть отдельным от агента-автора
• Описать паттерн Senior Review из KP Legal Orchestrator и адаптировать его к своим задачам
• Составить промпт для агента-ревьюера с режимом «нулевой терпимости к выдуманным ссылкам»
• Понимать вердикты Pass и Manual Review Required и правильно реагировать на каждый
• Использовать redline как инструмент передачи замечаний юристу

Зачем отдельный агент-ревьюер

Когда один и тот же агент пишет текст и проверяет его — он проверяет собственную уверенность, а не соответствие реальности. Модель, которая выдумала ссылку, не замечает противоречия при повторном прочтении: для неё ссылка выглядит корректно, потому что она её и создала.

Это не баг конкретной модели. Это архитектурная особенность: языковая модель оптимизирована под согласованность текста, а не под фактическую верность. Поэтому независимый ревьюер — не дополнительная роскошь, а структурное требование, если ставка — юридический документ.

По вторичным обзорам, к началу 2026 года было задокументировано более 700 судебных решений, связанных с выдуманными ссылками (данные по вторичным обзорам, требуют проверки; см. также Scientific American). ABA в январе 2026 года подтвердила: ответственность остаётся на подписывающем юристе, а не на AI (CallSphere).

Независимый ревьюер — это слой проверки между агентом-автором и юристом, который подписывает документ.

Паттерн Senior Review из KP Legal Orchestrator

KP Legal Orchestrator (kipeum86, лицензия Apache-2.0) реализует цепочку из четырёх специализированных агентов. Ядро юрисдикции — Корея/EU/US, но паттерн Senior Review применим к любой юрисдикции, в том числе к российскому праву, при адаптации источников.

Схема работы паттерна:

flowchart LR
    A[Writer-агент\nсоставляет черновик\nсо ссылками] --> B[Senior Review-агент\nсверяет каждую ссылку\nдословно по первоисточнику]
    B --> C{Вердикт}
    C -->|Pass| D[Документ\nпередаётся юристу]
    C -->|Manual Review Required| E[Redline DOCX\nс пометками\nк юристу]
    E --> F[Юрист\nпроверяет вручную]
    D --> F

Ключевое требование паттерна — writer-агент и reviewer-агент используют разные системные промпты и, в идеале, разные вызовы (или даже разные модели). Это исключает «эхо-камеру», когда модель подтверждает свои же выдумки.

Рекомендуемые модели для Senior Review-агента: Claude Opus 4.8 или GPT-5.5 Pro — они демонстрируют наименьший процент пропущенных галлюцинаций при дословной сверке по отзывам практиков (требует верификации на вашей задаче).

Режим «нулевой терпимости к выдуманным ссылкам»

«Нулевая терпимость» — это не строгость ради строгости. Это конкретная инструкция ревьюеру: любое расхождение между ссылкой в документе и текстом первоисточника — повод для пометки, а не для «смягчающей интерпретации».

Расхождения, которые подлежат обязательной пометке:

• номер статьи, пункта или подпункта не совпадает с текстом первоисточника;
• цитата «отредактирована» — убраны слова, изменён порядок, добавлены уточнения, которых нет в оригинале;
• ссылка указывает на несуществующий документ или несуществующий номер дела;
• дата акта или редакция не соответствует указанной;
• источник Grade C выдан за Grade A.

Промпт для агента-ревьюера

Промпт ниже задаёт Senior Review-агенту (Claude Opus 4.8, GPT-5.5 Pro или аналогичной модели) режим дословной сверки.

Ты — Senior Review-агент в юридическом рабочем процессе.
Твоя задача: проверить каждую ссылку в черновике документа на соответствие первоисточнику.

Режим работы: нулевая терпимость к выдуманным ссылкам.

Для каждой ссылки в документе:

1. Открой первоисточник по указанным реквизитам (номер закона, статья, пункт, дата).
2. Найди точную цитату в оригинальном тексте.
3. Сравни дословно: текст в документе vs. текст первоисточника.

Вердикт для каждой ссылки:
- Pass: текст совпадает дословно, реквизиты верны, редакция актуальна.
- Manual Review Required: любое расхождение — изменён текст, неверный номер, несуществующий документ, неверная дата, Grade C выдан за Grade A.

При вердикте Manual Review Required:
- процитируй фрагмент из документа;
- процитируй фрагмент из первоисточника (или укажи, что первоисточник не найден);
- объясни расхождение одним предложением.

Не смягчай вердикт. Если есть сомнение — Manual Review Required.

Черновик документа:
{draft_text}

Список ссылок для проверки:
{references_list}

Результат работы ревьюера передаётся юристу в одном из двух форматов: список с вердиктами (для машиночитаемого pipeline) или redline DOCX с пометками в тексте.

Redline как инструмент передачи замечаний

Redline в данном контексте — это не режим отслеживания изменений Word в прямом смысле, а размеченный документ, в котором каждое место с вердиктом Manual Review Required выделено и снабжено кратким комментарием ревьюера.

Структура пометки в redline:

{
  "ref_id": "ref_003",
  "location": "абзац 4, предложение 2",
  "draft_text": "согласно ст. 14.1 КоАП РФ штраф составляет от 500 до 1000 рублей",
  "verdict": "Manual Review Required",
  "note": "В ст. 14.1 КоАП РФ (актуальная редакция) указанный диапазон санкции не найден. Требуется проверка по КонсультантПлюс."
}

Когда юрист получает redline, его задача — не переписывать весь документ, а пройти по меткам Manual Review Required и закрыть каждую либо корректной ссылкой из первоисточника, либо исключением спорного утверждения из текста.

Применимость к российскому праву

Паттерн Senior Review адаптируется к российскому контексту с учётом трёх особенностей.

Во-первых, источники Grade A — это тексты в КонсультантПлюс и «Гаранте» или на pravo.gov.ru и официальных сайтах судов. Нейроюрист, интегрированный со СПС «Гарант», позволяет агенту подтягивать тексты напрямую из базы, что снижает риск ссылки на устаревшую редакцию.

Во-вторых, для российского права особенно важна проверка даты редакции: нормы часто изменяются, и модель, обученная на данных до определённой даты, может не знать об актуальных изменениях.

В-третьих, финальная проверка человеком обязательна вне зависимости от результата работы ревьюера. Вердикт Pass означает только то, что агент не нашёл расхождений — не то, что документ юридически безупречен.