Модуль md.1 · Урок 1
Почему медицинский LLM галлюцинирует и чем это опасно
Чему вы научитесь
- Объяснять, почему LLM генерирует правдоподобный, но неверный текст
- Различать виды медицинских галлюцинаций и их типичные проявления
- Понимать, почему «уверенность» модели не связана с её правотой
- Видеть, почему именно в медицине это особенно опасно
Что такое галлюцинация на самом деле
Языковая модель не «знает» факты — она предсказывает наиболее вероятное продолжение текста. Когда в обучающих данных не было точного ответа или вопрос на границе её знаний, модель всё равно выдаёт связный, грамматически безупречный текст. Он выглядит как факт, но фактом не является.
В обычном чате это раздражает. В медицине — это галлюцинация, которую можно принять за клиническую информацию. Несуществующая дозировка, выдуманное взаимодействие лекарств, ссылка на статью, которой нет, — всё это модель производит с той же интонацией уверенности, что и правильный ответ.
Виды медицинских галлюцинаций
Не все ошибки одинаковы. Полезно различать их типы, чтобы знать, где искать.
| Тип | Что происходит | Пример риска |
|---|---|---|
| Фактическая | Неверный факт о болезни или препарате | Ошибочная доза, неверный механизм действия |
| Цитатная | Ссылка на несуществующий или нерелевантный источник | «Подтверждение», которого нет в реальности |
| Логическая | Верные факты, неверный вывод | Правильные симптомы — неправильный дифдиагноз |
| Контекстная | Игнорирование части данных случая | Упущена аллергия или противопоказание |
Самая коварная — цитатная: модель подкрепляет ложное утверждение красиво оформленной, но выдуманной ссылкой, и это создаёт ложное чувство надёжности.
Почему уверенность модели обманчива
LLM выдаёт текст с одинаковой «уверенностью» независимо от того, права она или нет. Стиль ответа не коррелирует с его правильностью. Это ломает интуицию: в общении с человеком уверенный тон обычно означает компетентность, а у модели — нет.
flowchart TD
Q["Вопрос на границе знаний"] --> M["LLM генерирует\nправдоподобный текст"]
M --> C["Уверенный тон\nи гладкая форма"]
C --> T["Читатель доверяет\nформе, не содержанию"]
T --> R["Ложный факт принят\nза клиническую истину"]
style M fill:#eef2ff,stroke:#4400FF
style R fill:#fee2e2,stroke:#DC2626Сами авторы открытых медицинских моделей честны в этом. В документации Meissa прямо написано: «research prototype, may produce incorrect or hallucinated medical information».
Почему в медицине цена выше
В большинстве доменов галлюцинация — потеря времени. В медицине цепочка короче и тяжелее: ложный факт → решение → вред пациенту. Поэтому медицинский агент, который отвечает «по памяти» вместо вызова проверяющего инструмента, — это не удобство, а угроза.
Что дальше
Теперь, когда понятен риск, — как с ним бороться. Следующий урок про RAG и заземление ответа на источники: md.1/02.