Урок 1: Поиск и доказательный QA по статьям с цитатами

Чему вы научитесь

• Формулировать научный вопрос так, чтобы агент вернул ответ с проверяемыми цитатами
• Выбирать инструмент под задачу: быстрый QA, обзор по 138 млн статей, агентный литпоиск или open-source
• Читать разметку «за/против» и не путать «много статей» с «сильным доказательством»
• Проверять каждую цитату до уровня исходного предложения в статье
• Ловить типичную ошибку — когда ответ звучит уверенно, а цитата вывод не подтверждает

Задача урока: ответ с цитатами, который вы можете проверить

Доказательный QA — это не «спросить чат-бот». Это получить ответ на конкретный научный вопрос, где каждое утверждение привязано к статье, которую можно открыть и прочитать.

Ценность здесь двойная. Вы экономите часы на поиске, и одновременно получаете дешёвую проверку: цитата либо подтверждает вывод, либо нет. Весь урок про то, как этим пользоваться, не попадаясь на уверенный тон модели.

Пять инструментов и под что они

У каждого инструмента своя сильная сторона. Цены приведены по источникам из плана трека и требуют перепроверки на дату работы — тарифы ИИ-сервисов меняются часто.

Грубая логика выбора: Consensus и Crow (FutureHouse) — для быстрого «что известно про X». Elicit — когда нужен обзор многих статей и таблица. Falcon — для глубокого литобзора. PaperQA2 — когда данные нельзя отдавать в облако или нужна воспроизводимость.

Как формулировать вопрос

Качество ответа задаётся вопросом. Расплывчатый запрос даёт расплывчатый ответ с цитатами «на всякий случай».

1. Сделайте вопрос узким и проверяемым. Не «всё про витамин D», а «снижает ли приём витамина D частоту острых респираторных инфекций у взрослых».
2. Задайте популяцию и исход явно. Кто (взрослые, мыши, клетки), что измеряем (частота, риск, эффект) — это сужает поиск.
3. Просите ответ с цитатами на каждое утверждение. В Elicit и FutureHouse это режим по умолчанию; в чат-инструментах добавьте требование явно.
4. Ограничьте по типу и свежести. Только РКИ и метаанализы, только за последние 5 лет — если это уместно для вопроса.

Как читать «за/против»

Consensus показывает «consensus meter» — сводку того, как распределяются выводы статей: сколько за, сколько против, сколько нейтральны. Это удобно, но здесь же прячется главная ловушка.

Поток правильного чтения ответа выглядит так: сначала вывод, потом разметка «за/против», потом проверка самих цитат — и только после этого решение, доверять ли.

flowchart LR
    Q[Вопрос] --> A[Ответ агента с цитатами]
    A --> M[Разметка за/против]
    M --> C{Открываю цитаты}
    C -- Подтверждают --> OK[Принять как черновик]
    C -- Не подтверждают --> REJ[Отбросить вывод]
    M --> W[Смотрю тип и качество исследований]
    W --> C

    style Q fill:#0891b2,color:#fff,stroke:#0e7490
    style C fill:#f59e0b,color:#fff,stroke:#d97706
    style OK fill:#059669,color:#fff,stroke:#047857

Как проверять ссылки

Это ядро урока. Агент может вернуть реальную статью, но приписать ей вывод, которого там нет. Проверка — это всегда возврат к источнику.

1. Откройте саму статью, а не только карточку. Карточку с аннотацией генерирует инструмент; вам нужен оригинал по DOI.
2. Найдите конкретное предложение. Вывод «эффект значим» должен опираться на конкретную фразу или таблицу в статье, а не на общий смысл.
3. Сверьте направление и величину. Часто агент верно цитирует статью, но путает знак эффекта или переносит результат на другую популяцию.
4. Проверьте, что DOI существует и ведёт туда же. Выдуманный или подменённый DOI — классический признак галлюцинации цитаты.

Что делать с результатом

Ответ доказательного QA — это отправная точка, а не финал. Хороший результат этого этапа: короткий вывод, список проверенных цитат и пометка, какие из них вы лично открыли и подтвердили.

Этот же набор статей дальше станет входом для систематического обзора в следующем уроке — поэтому не теряйте DOI и свои пометки о проверке.

Следующий урок

Урок 2: Систематический обзор под ключ — соберём черновик обзора с извлечением данных в таблицу и научимся ловить ошибки агента.