Модуль 1.5: чему нельзя доверять ИИ

Ведущая: Привет-привет! С вами AIStudy — бесплатный курс про искусственный интеллект, который можно слушать за рулём, в метро или на кухне. Записывать ничего не нужно, упражнения оставим на потом.

Ведущий: Привет! В прошлый раз мы пообещали рассказать про промпты. Обещание в силе, но сегодня сделаем остановку чуть раньше. Тема — безопасность.

Ведущая: Звучит строго. Мы что, будем пугать слушателей?

Ведущий: Нет, будем помогать. Пока вы не начали загружать в нейросеть рабочие файлы и принимать решения по её советам, полезно знать, где она подводит. Зато потом пользоваться ею станет спокойнее.

Ведущая: И какой план?

Ведущий: Пять частей. Первая: когда нейросеть уверенно выдумывает. Вторая: как это проверять и почему последнее слово за человеком. Третья: какие данные нельзя ей отдавать. Четвёртая: кто отвечает за результат и можно ли продавать то, что она написала. И пятая: как ИИ используют мошенники, плюс несколько спорных историй и список вопросов перед запуском своего помощника.

Ведущая: Поехали?

Ведущий: Поехали!

Ведущая: Часть первая. Начну с того, что меня давно смущает. Нейросеть иногда отвечает так уверенно, будто знает всё на свете. А потом оказывается, что она это просто выдумала. Что это вообще такое?

Ведущий: Это называется галлюцинация. Модель с полной уверенностью рассказывает о том, чего никогда не было. И звучит убедительно: без «кажется», без «наверное». Просто выдаёт текст.

Ведущая: Но почему? Она же умная.

Ведущий: Вспомни, как она устроена. Нейросеть учится предсказывать следующее слово. Она не открывает справочник и не проверяет факты, она продолжает фразу так, как это обычно выглядит. Когда вопрос трудный или данные противоречат друг другу, она всё равно продолжает. И получается то, что звучит правдоподобно, хотя к реальности отношения не имеет.

Ведущая: То есть как студент на экзамене, который не знает билет, но говорит очень красиво.

Ведущий: Один в один. Только студент хотя бы нервничает, а модель всегда звучит спокойно. По тону ты не поймёшь, где знание, а где выдумка.

Ведущая: Есть пример из жизни? Чтобы почувствовать, насколько это серьёзно.

Ведущий: Есть история, которую приводят и в уроке. В две тысячи двадцать третьем году один адвокат попросил ChatGPT найти судебные прецеденты. Нейросеть выдала ссылки на шесть судебных решений. Адвокат принёс их в суд. И выяснилось, что все шесть дел выдуманные. Суд настоящий, названия звучат правдоподобно, а самих дел никогда не было.

Ведущая: Ох. И чем кончилось?

Ведущий: Судья обвинил адвоката в фальсификации. Штраф и урон репутации. Заметь: виноватым оказался не ИИ, а человек, который не проверил.

Ведущая: Эту мысль мы сегодня ещё не раз повторим.

Ведущий: Обязательно. А пока посмотрим, где такие выдумки особенно опасны. Медицина: нейросеть советует несуществующий препарат, и человек не получает нужное лечение. Финансы: она цитирует отчёт, которого никто не писал, а решение об инвестиции уже принято. Поддержка клиентов: бот придумывает шаги, и человек портит устройство. Учёба: студент сдаёт доклад с «фактами», которых не было.

Ведущая: Везде одна схема. Ответ выглядит нормально, а проверить его никто не догадался.

Ведущий: Да. Поэтому первая привычка такая: чем увереннее звучит ответ, тем меньше это доказательство. Уверенность модели ничего не говорит о её правоте.

Ведущая: А как понять, что я попала на выдумку? Есть признаки?

Ведущий: Подозрительнее всего конкретные детали, которые можно проверить: ссылки, номера дел, цитаты, имена, точные цифры. Их выдумка выглядит особенно убедительно. Если нейросеть сказала «статья такая-то, номер такой-то», это первое, что нужно проверить.

Ведущая: Запомнила. Чем конкретнее звучит, тем быстрее проверяем.

Ведущая: Часть вторая. Выдумки — это только один вид ошибок. Что ещё может пойти не так?

Ведущий: Предвзятость. Нейросеть учится на текстах из интернета, а интернет написали люди, со всеми их стереотипами. Если в текстах инженеры чаще мужчины, модель будет рисовать инженера мужчиной. Если страну чаще упоминали рядом с проблемами, у модели сложится негативная ассоциация.

Ведущая: Подожди. Это же просто отражение жизни. Почему это проблема?

Ведущий: Потому что нейросеть не только отражает, а ещё и усиливает. Попроси её нарисовать «успешного бизнесмена» и, скорее всего, получишь мужчину в костюме: такие картинки доминировали в данных. Других вариантов успеха будто и нет.

Ведущая: А если это не картинка, а решение? Например, кого пригласить на собеседование.

Ведущий: Вот тут уже опасно. В уроке пример: система отбора резюме отклоняет женщин, потому что в исторических данных руководители чаще нанимали мужчин. Другой пример: диагностическая система училась на данных одного региона и хуже работает в других. Поэтому в найме, в медицине и в судебных делах к ИИ нужна особая осторожность.

Ведущая: А как заметить предвзятость самому, дома?

Ведущий: Есть простой эксперимент из урока. Попроси нейросеть несколько раз описать идеального менеджера проекта. Смотри: какой пол упоминается чаще, какие качества на первом месте, не повторяется ли один и тот же портрет. А потом попроси описать идеального менеджера-женщину. Окажется, что разнообразие появляется, только если ты прямо его попросишь.

Ведущая: То есть по умолчанию она выдаёт «средний» стереотип.

Ведущий: Да. Теперь фактические ошибки. Первая: устаревшие данные. У модели есть дата, до которой она «училась», и о более поздних событиях она знает, только если подключён поиск. А отвечает уверенно в любом случае. Вторая: математика. Даже на простом вопросе, что больше, девять целых одиннадцать сотых или девять целых восемь десятых, модели случается ошибиться. Сложные проценты и финансовые расчёты тем более нужно перепроверять. И третья: неверно понятый контекст. Дашь длинный документ на английском, получишь дословный перевод, где смысл потерялся. Звучит логично, а неправильно.

Ведущая: Хорошо, хорошо, всё ненадёжно. Я уже боюсь открывать чат. Как с этим жить?

Ведущий: Спокойно. В уроке пять правил проверки, и они простые. Правило первое: проверяйте факты. Даты сверяйте с актуальными источниками, цифры пересчитывайте на калькуляторе, по ссылкам кликайте и смотрите, что они вообще открываются.

Ведущая: Второе?

Ведущий: Не верьте одному источнику. Услышали про событие от ИИ — поищите в обычном поиске, посмотрите в энциклопедии, найдите новость. Третье: сомневайтесь в точных цифрах. «Средняя зарплата программистов» звучит солидно, но число из уст нейросети легко оказывается выдуманным. Сверяйте с сайтами статистики.

Ведущая: Четвёртое?

Ведущий: Важные решения показывайте эксперту. Нейросеть придумала маркетинговую стратегию — покажите маркетологу. Составила текст договора — покажите юристу. Подсказала лечение — спросите врача. И пятое: записывайте, откуда взята информация. «Это рекомендация ИИ, получена такого-то числа». Если потом выяснится ошибка, вы хотя бы знаете, где её искать.

Ведущая: Получается, нейросеть — очень быстрый помощник, которого надо проверять.

Ведущий: Хорошо сказано. В уроке это называется «человек в цепочке принятия решений». Как бы хорош ни был ИИ, человек остаётся ответственным за итог. ИИ предлагает, человек проверяет. Верно — решение принято. Неверно — отклонено или исправлено.

Ведущая: Почему именно человек? Он же тоже ошибается.

Ведущий: По трём причинам. Человек видит ошибку, которую модель не видит. Человек знает контекст вашей компании, а модель нет. И самое главное: ответственность несёт человек, а не нейросеть. А ещё сочетание «ИИ плюс человек» сильнее, чем каждый из них по отдельности. Помощник написал письмо, вы прочитали и поправили перед отправкой. ИИ предложил цену, продавец решает, подходит ли она рынку.

Ведущая: А как же ограничители? Я слышала, что в нейросети встроены защитные правила.

Ведущий: Верно. Это правила или фильтры, которые не дают ИИ сделать что-то опасное: не помогать создавать оружие, не писать код для взлома, не выдавать чужие личные данные, не отказывать в помощи из-за расы или пола. Банки настраивают их, чтобы система не одобрила подозрительный кредит, а кадровые службы, чтобы не дискриминировать кандидатов.

Ведущая: Отлично, значит, можно расслабиться?

Ведущий: Нет. Ограничители отсекают очевидный вред, а тонкие ошибки и предвзятость пропускают. Это одна из главных мыслей урока: ограничители помогают, но личную бдительность не отменяют.

Ведущая: Итог части: выдумки, предвзятость, устаревшее и кривая математика. Факты проверяем, важное показываем эксперту.

Ведущий: Часть третья. Приватность. Признаюсь: я иногда закидываю в чат всё подряд, лишь бы побыстрее. Файл, переписку, таблицу. Где вообще граница?

Ведущая: В уроке граница делится на три цвета. Зелёный, жёлтый и красный. С зелёным всё просто. Публичные статьи и новости, общедоступная информация с вашего сайта, обезличенные данные без имён и адресов, общие вопросы вроде «как оформить резюме». Это можно спокойно.

Ведущий: А жёлтый?

Ведущая: Осторожно. Служебная информация без секретов, внутренние документы, которые вы без проблем обсудили бы с коллегами, часть большого документа вместо всего целиком, результаты, которые вы собираетесь показать начальству. Тут стоит остановиться и подумать.

Ведущий: Ну а красный? Я уже чувствую, что попался.

Ведущая: Красное — ни в коем случае. Пароли, ключи и токены доступа. Банковские реквизиты и номера карт. Паспорт, СНИЛС, ИНН. Медицинские карты и анализы. Условия трудовых договоров, особенно с соглашением о неразглашении. Торговые секреты и коммерческие расчёты. Персональные данные других людей: адреса, телефоны, почта. Материалы судебных дел. И скриншоты частных переписок.

Ведущий: Скриншоты переписок... Было. А есть простое правило, чтобы не держать весь список в голове?

Ведущая: Золотое. Если ты не отдал бы эту информацию незнакомцу на улице, не загружай её в ИИ.

Ведущий: Коротко и работает. Но почему? Вот загрузил я файл. Что с ним дальше происходит?

Ведущая: Большинство сервисов облачные. Твой текст уходит на сервер компании. Там его обрабатывают, он хранится в журналах, его могут проверять на качество. По уроку, в бесплатных и недорогих тарифах данные могут идти на улучшение модели, если ты не отключил это в настройках. В корпоративных тарифах и при работе через интерфейс для разработчиков по умолчанию, как правило, нет. Но условия у каждого сервиса свои, и их надо читать.

Ведущий: А кто это увидит?

Ведущая: Урок осторожен. Инженеры компании — вероятно. Модераторы, которые проверяют качество, — возможно. Власти страны, где стоит сервер, — по запросу. И всегда есть риск, что оборудование взломают. Плюс серверы известных сервисов в основном в США, а там есть закон, по которому власти могут потребовать доступ к данным.

Ведущий: Неприятно. Как тогда не рисковать вообще?

Ведущая: Есть вариант: локальный ИИ. Модель стоит на вашем компьютере, текст обрабатывается там же, наружу ничего не уходит. Полная приватность, работает без интернета, платить за сервис не нужно.

Ведущий: Подвох будет.

Ведущая: Будет. Нужен мощный компьютер, работает медленнее облачных сервисов, и модели надо обновлять самому. Выбор между удобством и контролем.

Ведущий: А закон что говорит? Я в России, у нас же есть закон про персональные данные.

Ведущая: Да. Логика в уроке такая. Если вы загружаете в облачный сервис сведения о конкретном человеке, имя, телефон, адрес, паспорт, медицинские данные, вы передаёте их третьей стороне. Для этого нужно согласие самого человека. Примеры из урока: менеджер по найму загружает резюме с фото кандидата, учитель описывает ученика данными из журнала, врач описывает пациента без его согласия. Всё это риск.

Ведущий: А когда можно?

Ведущая: Когда данные публичные. Когда вы их обезличили, убрали все личные признаки. Когда есть письменное согласие. Или когда вы используете локальную модель у себя на сервере в России. И если вы по работе имеете дело с чужими персональными данными, лучше уточнить у юриста вашей компании: у каждого случая свои нюансы.

Ведущий: Разумная оговорка. А компании? Они же как-то работают с облачным ИИ.

Ведущая: Для компаний есть корпоративные тарифы. Что в них важно. Данные не используются для обучения. Шифрование при передаче и хранении. Можно выбрать регион, где лежат данные: это называется резидентностью данных. И есть договор об обработке данных, где записано, где хранятся данные, кто к ним имеет доступ, как долго они лежат и что происходит при утечке.

Ведущий: И список вопросов перед загрузкой тоже есть?

Ведущая: Есть. Я перескажу на слух. Первое: можно ли мне вообще это загружать? Второе: нет ли в файле номеров, паролей и ключей? Третье: нет ли чужих персональных данных, а если есть, получено ли согласие? Четвёртое: не служебная ли это тайна, разрешила ли компания? Пятое: не лежит ли это под соглашением о неразглашении? Шестое: готов ли ты, что это увидит модератор? Если нет, нужна локальная модель или корпоративный тариф. И седьмое: хочешь ли ты, чтобы это осталось в журнале? Если нет, отключи историю в настройках.

Ведущий: Семь вопросов, и ничего сложного.

Ведущая: Добавлю картинку для примера, не как реальный случай. Представь сотрудника страховой компании, который грузит в чат данные клиентов, чтобы быстрее их разобрать. Через несколько недель об этом узнаёт компания. Дальше понятно: штраф, письма клиентам, потерянное доверие. Цена одной небрежности.

Ведущий: Я сегодня же пройдусь по истории своих чатов.

Ведущая: Это ровно первое упражнение из урока: открыть десять последних диалогов и честно спросить себя, нет ли там чего-то конфиденциального. Если есть, удалить.

Ведущий: Итог части: три цвета данных, золотое правило про незнакомца на улице, облако против локальной модели и семь вопросов перед загрузкой.

Ведущая: Часть четвёртая. Самый неудобный вопрос модуля. Если нейросеть ошиблась, кто виноват?

Ведущий: Краткий ответ из урока: вы. Даже если ошибся ИИ. Даже если вы доверились его рекомендации. Даже если вы не специалист в этой области.

Ведущая: Но это несправедливо! Я не вшивала в неё ошибку.

Ведущий: Смотри на логику. Вы выбрали использовать ИИ. Вы выбрали не проверять результат. Вы приняли решение на его основе. И либо у вас есть квалификация в этой области, либо она должна быть. Помнишь адвоката: штраф получил он, а не создатели чата. Нейросеть — инструмент, а инструмент ответственности не несёт.

Ведущая: Ладно, логика понятна. Как защитить себя?

Ведущий: Проверять результат до использования. Не уверены — спросить эксперта. Записывать, что именно вы проверили. И честно признавать: если ИИ ошибся, ошибка в том, что вы доверились ему без проверки.

Ведущая: Хорошо. Теперь про авторство. Допустим, я попросила нейросеть написать статью. Могу я опубликовать её и продавать как свою?

Ведущий: Сразу оговорюсь: это быстро меняющаяся область, и в разных странах по-разному. Общая мысль урока такая. Чисто машинный текст без творческого вклада человека может остаться без защиты авторского права. В США прямо так. А, например, в Китае права могут признать за тем, кто составлял запросы и отбирал результат, если вклад значительный. Актуальный разбор по странам лежит в уроке, потому что правила меняются быстро.

Ведущая: Значит, надо добавить что-то от себя.

Ведущий: Да. Урок разбирает три сценария. Первый, рискованный: «напиши статью», опубликовал, продал. Человеческого вклада нет, защиты нет, и возможны претензии. Второй, безопаснее: ИИ написал черновик, а вы добавили свои примеры и знания, переписали своим стилем, перестроили структуру. Это уже ваш текст. Заметь: волшебного процента, скажем «тридцать процентов своего», закон не устанавливает. Важно, чтобы выразительные элементы определяли вы. И третий, рекомендуемый: открыто написать, что использовалась помощь ИИ.

Ведущая: А какие подводные камни?

Ведущий: Продавать машинный текст как «оригинальный авторский» — это может выглядеть как обман. Если контент нарушает чужие права, защиты у вас нет. А текст, похожий на чужой, остаётся плагиатом, даже если его сгенерировала нейросеть. Проверьте текст специальными сервисами на плагиат, а если контент коммерческий, посоветуйтесь с юристом.

Ведущая: Ты уже несколько раз сказал «честно написать, что это ИИ». А нужно ли вообще об этом сообщать?

Ведущий: Урок отвечает: да, в большинстве случаев. Статья в блоге, рассылка, посты в соцсетях, описание товара, рекомендации: читатели вправе знать, что текст создан с помощью ИИ. Можно не говорить, если это черновик для себя, проверка орфографии или помощь в редактировании вашего собственного текста.

Ведущая: Подожди. А мы с тобой?

Ведущий: Ха! Справедливый вопрос. Да, мы с тобой голоса, синтезированные нейросетью. Текст подготовлен по урокам сайта. И об этом написано в описании выпуска. Правило работает и для нас.

Ведущая: Вот и повод ему следовать. Зато честно.

Ведущий: Почему это важно? Если скрывать, люди думают, что всё сделали вы сами. Когда правда вскрывается, доверие падает, а восстанавливается долго. Скажете открыто, что это инструмент, и вам скорее поверят. Мысль простая: пользоваться ИИ может любой, а вот врать про это нельзя.

Ведущая: Итог четвёртой части: отвечаете вы, в тексте должен быть ваш вклад, и про ИИ говорим честно.

Ведущий: Часть пятая, последняя. Теперь про тех, кто использует ИИ против нас. Урок называет три области: дипфейки, фейковые отзывы и мошенническая рассылка.

Ведущая: С дипфейками всё слышала. Видео человека, которого не было, или слова, которых он не говорил.

Ведущий: Именно. Нейросеть подменяет лицо или голос, и ролик выглядит как настоящий. Последствия: в политике фейковое видео может вызвать панику, в финансах ролик с «руководителем компании» способен обвалить акции, в личной жизни это шантаж и месть. Как защищаться: смотреть на мелочи, мерцание глаз, странные движения губ. Проверять, откуда ролик. Использовать детекторы. И если сомневаетесь, спросить у самого человека.

Ведущая: А что с отзывами? Я их читаю перед каждой покупкой.

Ведущий: Вот тут весело. Нейросеть может написать сотни отзывов за вечер: хвалебных для своего товара или разгромных для конкурента. Отличить их на глаз уже трудно. Как защищаться: читайте подробные отзывы, а не только оценки. Смотрите отзывы на разных площадках. И если все подозрительно восторженные, скорее всего, перед вами накрутка.

Ведущая: А письма «от банка»? Они теперь стали гладкими, без ошибок.

Ведущий: Да. Нейросеть пишет сотни писем, которые выглядят индивидуальными, подделывает письма от компаний, делает убедительные поддельные сайты. Классика: «ваш счёт заблокирован, нажмите, чтобы подтвердить». Правила прежние и железные. Не переходите по ссылкам из неожиданных писем. Проверяйте адрес отправителя: он бывает похож, но не совпадает. Пароли вводите только на официальном сайте, а не из письма. Включите двухфакторную защиту. А если сомневаетесь, позвоните в компанию сами.

Ведущая: Нам обещали ещё спорные истории.

Ведущий: Урок разбирает пять дилемм. Возьмём три. Первая: учёба. Студент написал эссе с помощью ИИ, переписал своими словами, добавил примеры. Преподаватель не знает про ИИ и ставит пятёрку. Другой студент писал сам и получил тройку. Честно ли это?

Ведущая: Мне хочется сказать: если результат хороший, неважно, как он сделан. Но тогда непонятно, чему студент научился.

Ведущий: Вот и урок так считает. Образование про развитие навыков. Если ИИ заменяет мышление, это плохо. Если помогает искать и редактировать, это хорошо. А честность требует рассказать об этом преподавателю.

Ведущая: Вторая?

Ведущий: Найм. Компания фильтрует резюме нейросетью, и та отсеивает женщин и людей из меньшинств, потому что в исторических данных их было меньше. Время экономится, а хорошие кандидаты теряются. Урок говорит: предвзятый ИИ — плохой инструмент для найма. Либо отказаться от него, либо переучить на менее предвзятых данных, и в любом случае рекрутер должен проверять решения алгоритма и давать шанс тем, кого он отсеял.

Ведущая: Видишь, тут вернулась тема из второй части.

Ведущий: Всё связано. Третья: медицина. Врач в небольшом городе пользуется точной ИИ-диагностикой. Она иногда ошибается, а врач, когда торопится, может пропустить ошибку. Кто отвечает? Урок: ИИ помогает, но не заменяет врача. Врач обязан проверять. А если из-за спешки это не получается, нужно менять нагрузку, а не перекладывать проверку на нейросеть.

Ведущая: И финал модуля: вопросы перед запуском своего помощника. Урок предлагает десять пунктов.

Ведущий: Давай по одному слову на пункт. Ответственность, точность, приватность, честность, безопасность. Предвзятость, авторское право, человек в цепочке, мониторинг, документация.

Ведущая: Десять слов, которыми можно проверить любой проект. Ответственность: я знаю, что отвечаю я, а не ИИ? Точность: я проверил помощника на реальных примерах и знаю, как часто он ошибается? Приватность: куда уходят данные? Честность: люди знают, что говорят с ИИ? Безопасность: нельзя ли им воспользоваться во вред?

Ведущий: Дальше. Предвзятость: проверен ли он на дискриминацию? Авторское право: откуда взялся контент и есть ли в нём мой вклад? Человек в цепочке: важные решения проверяет человек, есть ли кнопка «стоп»? Мониторинг: слежу ли я за ошибками, есть ли обратная связь от пользователей? И документация: описаны ли ограничения и риски?

Ведущая: А теперь проверим вас. Три вопроса, отвечайте про себя. Первый. Нейросеть дала вам ссылку на судебное решение. Что делаете? Проверяете, что такое дело правда существует.

Ведущий: Второй. Коллега просит загрузить в чат скриншот переписки с клиентом, чтобы быстро сделать выжимку. Это красная зона. Не загружаем или сначала обезличиваем.

Ведущая: И третий. Вы написали с ИИ статью для блога. Что сделать до публикации? Добавить свой вклад, проверить на плагиат и честно написать, что был помощник.

Ведущий: Теперь итог. Первое: ИИ уверенно выдумывает и бывает предвзятым, поэтому факты, цифры и ссылки проверяем. Второе: не всё нужно отдавать облаку, пароли, документы и чужие данные остаются в красной зоне.

Ведущая: Третье: отвечаете вы, а не нейросеть, и про использование ИИ говорим честно. Четвёртое: мошенники тоже пользуются ИИ, поэтому ссылкам из неожиданных писем не верим.

Ведущий: Упражнения, схемы и тесты ждут вас на сайте. Ссылки на все три урока модуля лежат в описании выпуска.

Ведущая: А в следующий раз держим слово и разбираем промпты: как писать запросы, чтобы модель отвечала по делу.

Ведущий: До встречи!

Ведущая: До встречи!