Урок 2: Критическое мышление и devil's advocate

Чему вы научитесь

• Понимать, почему генерация гипотез бесполезна без столь же сильного механизма их опровержения
• Заставлять агента играть роль devil’s advocate против собственных же выводов
• Системно искать конфаундеры — скрытые третьи переменные, объясняющие наблюдаемую связь
• Строить альтернативные объяснения для любого результата вместо подтверждения первой версии
• Применять навык scientific-critical-thinking из Scientific Agent Skills как рабочий чек-лист
• Видеть системный риск сужения тематического разнообразия науки при опоре на ИИ

Почему критика важнее генерации

На прошлом уроке вы научились получать много гипотез. Проблема в том, что генерация — лёгкая часть. И модель, и человек охотно производят правдоподобные идеи и так же охотно ищут им подтверждения. Это confirmation bias, и LLM его наследует от обучающих текстов.

Сильная наука держится на обратном движении: гипотеза ценна не тем, что её можно подтвердить, а тем, что её можно опровергнуть. Поэтому после турнира гипотез нужна вторая петля — целенаправленная атака на собственные выводы.

Агент как devil’s advocate

Тот же агент, что породил гипотезу, может её и атаковать — но только если вы явно поменяете ему роль. По умолчанию модель «дружелюбна» к собственному выводу. Команда «теперь будь моим оппонентом» переключает режим.

Навык scientific-critical-thinking из Scientific Agent Skills оформляет это как стандартную процедуру: агент по чек-листу ищет слабые места, конфаундеры и альтернативные объяснения вместо того, чтобы соглашаться с вами (Scientific Agent Skills).

Роль: ты выступаешь как devil's advocate, оппонент моего вывода.
Вывод, который надо атаковать: <ваша гипотеза или результат>

Не соглашайся. Для этого вывода найди:
1. три самых сильных контраргумента,
2. возможные конфаундеры, третьи переменные, объясняющие связь,
3. минимум два альтернативных объяснения тех же данных,
4. при каких условиях вывод точно окажется ложным,
5. какое наблюдение убедило бы тебя, что вывод неверен.

Будь конкретным. Не смягчай формулировки.

Конфаундеры: третья переменная

Самая частая ошибка интерпретации — принять корреляцию за причинность, упустив скрытую переменную, которая влияет на оба наблюдаемых фактора. Это конфаундер. Его поиск стоит вынести в отдельный обязательный шаг.

Для каждого утверждения «X связан с Y» спросите агента и себя: какая третья переменная Z могла бы породить эту связь, не будучи её причиной? Если такой Z правдоподобен, вывод о причинности преждевременен.

flowchart TD
    Z[Конфаундер Z] --> X[Наблюдаемый X]
    Z --> Y[Наблюдаемый Y]
    X -. кажущаяся связь .- Y

    style Z fill:#f59e0b,color:#fff,stroke:#d97706
    style X fill:#0891b2,color:#fff,stroke:#0e7490
    style Y fill:#0891b2,color:#fff,stroke:#0e7490

Стрелки от Z к обоим наблюдаемым — реальные связи; пунктир между X и Y — видимость, которую нужно разоблачить, а не интерпретировать как причинность.

Альтернативные объяснения

Один результат почти всегда совместим с несколькими гипотезами. Привычка останавливаться на первом объяснении — источник ложных открытий. Прежде чем принять интерпретацию, перечислите конкурирующие.

1. Зафиксируйте наблюдение, а не вывод. Отделите «что мы увидели» от «что это значит».
2. Сгенерируйте 3-4 объяснения. Включая скучные: ошибка измерения, артефакт обработки, случайность.
3. Найдите различающий тест. Какой эксперимент или данные разведут эти объяснения?
4. Проверьте самое скучное первым. Артефакты и ошибки данных дешевле исключить, чем подтверждать смелую гипотезу.
5. Оставьте выжившие. Объяснение, пережившее различающий тест, и есть кандидат на вывод.

Системный риск: сужение фокуса науки

У критического мышления есть не только личное, но и системное измерение. Если все исследователи опираются на одни и те же модели, обученные на одном и том же корпусе, гипотезы начинают сходиться к «середине» — к тому, что уже хорошо представлено в литературе.

Исследование в Nature показывает: ИИ-инструменты повышают индивидуальную продуктивность, но могут сужать тематическое разнообразие науки в целом (Nature s41586-025-09922-y). Модель тянет к популярному и проверенному, а не к рискованному и новому.

Связка двух уроков

Модуль работает как две петли. Первая — турнир — расширяет пространство идей. Вторая — критика — сжимает его до того, что выдерживает атаку. Гипотеза, прошедшая обе, заслуживает эксперимента; остальные остаются заметками.

Следующий модуль

Модуль S.4: Данные, код и эксперимент — от проверенных гипотез к первому воспроизводимому анализу данных агентом и безопасному исполнению кода.