Урок 2: Этика и риски — чек-лист ответственного использования

Чему вы научитесь

• Понимать главный риск ИИ в науке на конкретном кейсе, прошедшем peer-review
• Различать галлюцинации, фабрикации, переоценку новизны и ошибки цитирования
• Объяснять, почему скепсис к маркетинговым метрикам — это гигиена, а не цинизм
• Знать, что требуют политики журналов по раскрытию использования ИИ
• Применять явный чек-лист ответственного использования перед публикацией результата

Кейс, с которого стоит начать

В 2025 году система Sakana AI Scientist-v2 стала первой, чья полностью сгенерированная ИИ статья прошла peer-review на воркшопе ICLR 2025 с оценками 6/7/6 (Sakana paper). Звучит как победа автономной науки. На деле это лучший учебный пример рисков.

При внешней проверке статья содержала галлюцинации, сфабрикованные результаты, переоценку собственной новизны и ошибки цитирования — в том числе неверную атрибуцию авторства LSTM (byteiota). Рецензенты поставили проходные баллы, но достоверность от этого не появилась.

Четыре типа ошибок, которые надо ловить

Полезно держать в голове, какие именно дефекты прячутся за уверенным тоном.

Все четыре дефекта присутствовали в кейсе Sakana одновременно. Это не редкость и не злой умысел — так устроены языковые модели, и поэтому проверка обязательна.

Воспроизводимость: скепсис к метрикам

Отдельный урок дают честные open-source-проекты. Реализация Kosmos (jimmc414) прямо пишет в README: заявленные в исходной статье 79.4% достоверности научных утверждений и 7 валидированных открытий в этой реализации НЕ воспроизведены — архитектура есть, а валидация результатов не проведена (README Kosmos).

Есть и системный риск: исследование в Nature указывает, что ИИ-инструменты повышают индивидуальную продуктивность, но могут сужать тематическое разнообразие науки (Nature s41586-025-09922-y). Стоит замечать, не ведёт ли агент вас по самой проторённой дорожке.

Политики журналов и раскрытие ИИ

Многие журналы либо ограничивают использование ИИ, либо требуют его явного раскрытия. При этом дисциплина хромает: больше половины рецензентов из опроса применяли ИИ при рецензировании вопреки правилам (Nature d41586-025-04066-5).

flowchart TD
    A[Использовали ИИ в работе] --> B{Что требует журнал?}
    B -- Раскрытие --> C[Указать, где и как применялся ИИ]
    B -- Запрет на часть задач --> D[Не использовать ИИ там, где нельзя]
    C --> E[Проверить факты и цитаты самим]
    D --> E
    E --> F[Подавать рукопись]

    style A fill:#0891b2,color:#fff,stroke:#0e7490
    style E fill:#f59e0b,color:#fff,stroke:#d97706
    style F fill:#059669,color:#fff,stroke:#047857

Правило простое: перед подачей открывайте актуальную политику конкретного журнала по ИИ и следуйте ей буквально. Ответственность за раскрытие — на авторе, а не на инструменте.

Конфиденциальность данных

Отправка непубличного датасета в облачную LLM фактически равна публикации этих данных третьей стороне. Для пациентских, коммерческих или иных чувствительных данных это недопустимо без явного разрешения и оценки рисков.

Если данные чувствительные — работайте на self-hosted или локальных моделях (например, связка LiteLLM с Ollama в Kosmos или локальные навыки), а не через публичные API. Эту развилку лучше решать до первого запроса, а не после.

Чек-лист ответственного использования

Пройдите его до того, как куда-либо отправлять результат.

1. Источники. Каждая ссылка открывается, DOI и авторство верны, цитата действительно подтверждает то, что написано.
2. Числа и таблицы. Все результаты воспроизведены повторным запуском кода на тех же данных, а не взяты из текста агента.
3. Новизна. Вы руками поискали похожие работы и не выдаёте известное за «впервые показанное».
4. Метрики. Маркетинговые проценты помечены как непроверенные, пока вы не воспроизвели их сами.
5. Раскрытие ИИ. Политика целевого журнала прочитана, использование ИИ раскрыто так, как требуется.
6. Данные. Чувствительные данные не уходили в облачные LLM; для них использованы локальные модели.
7. Ответственность. Вы готовы лично отвечать за каждое утверждение в артефакте, как если бы написали его без ИИ.

Следующий урок

Урок 3: Оформление результата — статья, постер, слайды — превратим проверенную находку в аккуратный воспроизводимый артефакт.