Урок 2: Фонд оценочных средств (ФОС) с помощью ИИ

Чему научитесь

• Собирать черновик фонда оценочных средств (ФОС) — набора материалов, которыми проверяют, достигнуты ли результаты обучения, — на уровне всей программы, а не одной темы
• Масштабировать два приёма из предыдущих модулей: таблицу спецификации (план проверки) из t.3 и рубрику (таблицу критериев оценки) из t.4 — на весь курс сразу
• Поручать ИИ черновую сборку банка контрольно-измерительных материалов (КИМ) — это вопросы, задания и тесты, которыми измеряют знания, — так, чтобы темы не противоречили друг другу
• Выстраивать порядок работы, где ИИ делает заготовку, а методист выверяет каждую формулировку и снимает с себя ответственность за итог

Для практики подойдёт любой чат с ИИ. Удобно через arckep.ru — основные модели, без VPN, оплата рублями.

Что такое ФОС и почему его тяжело собирать вручную

Фонд оценочных средств (ФОС) — это полный набор материалов, которыми проверяют, что обучающийся действительно достиг заявленных результатов программы. Внутри — вопросы, практические задания, кейсы, критерии оценки, описание процедуры проверки. Не один тест к одной теме, а связная система на весь курс.

Сложность ручной сборки не в объёме, а в согласованности. Когда тем десятки, легко получить разнобой: в одной теме задания проверяют умение применять, в соседней — только запоминание терминов. Где-то критерии оценки прописаны подробно, где-то — «зачёт по усмотрению». Человек физически не удерживает в голове всю карту проверок одновременно, и щели появляются именно на стыках тем.

Здесь ИИ полезен как сборщик-черновик. Он не устаёт, держит в виду все темы разом и быстро выравнивает формулировки по одному образцу. Но он не знает вашей программы и не отвечает за корректность. Поэтому правило одно: ИИ собирает заготовку, методист выверяет содержание и принимает решение.

Шаг назад: два приёма, которые мы масштабируем

В модуле t.3 вы научились делать спецификацию на отдельную тему — таблицу, где напротив каждого результата обучения стоит, сколько и каких заданий его проверяют. В модуле t.4 — собирать рубрику, то есть таблицу критериев, по которым оценивают одно конкретное задание (что считается отличным ответом, что хорошим, что слабым).

Оба приёма работали на уровне темы. ФОС требует того же, но на уровне программы целиком. Это не новая методика — это те же два инструмента, поднятые на этаж выше. Спецификация становится картой проверок всего курса. Рубрики собираются в единый банк, чтобы критерии не плодились хаотично от темы к теме.

ИИ полезен именно при таком масштабировании. Сделать одну спецификацию вручную несложно. Собрать тридцать и проверить, что они не противоречат друг другу, — вот где машина экономит часы черновой сводки.

Спецификация на весь курс

Спецификация на курс — это сводная таблица: по строкам результаты обучения всей программы, по столбцам темы, а в клетках — где и чем каждый результат проверяется. Такая карта сразу показывает дыры: результат, который заявлен в программе, но нигде не проверяется, либо тема, которая проверяет одно и то же по пятому разу.

ИИ собирает эту карту быстро, если дать ему два входа: список результатов обучения и список тем с их заданиями. Дальше он раскладывает, что чем покрыто, и подсвечивает пустые клетки.

1. Соберите входные данные. Скопируйте в чат список всех результатов обучения программы и перечень тем с уже имеющимися контрольными заданиями. Чем точнее формулировки, тем меньше потом править.
2. Попросите сводную таблицу. Дайте задание: «Построй таблицу. Строки — результаты обучения, столбцы — темы. В клетках отметь, какие задания темы проверяют этот результат. Пустые клетки оставь пустыми».
3. Найдите дыры. Отдельно попросите: «Перечисли результаты обучения, которые не проверяются ни одним заданием, и темы, где заданий больше, чем нужно для покрытия».
4. Выверьте руками. Пройдите по каждой клетке. ИИ мог отнести задание не к тому результату — это самая частая ошибка. Исправьте привязки сами.

Готовая карта — это не финальный документ, а скелет. Она показывает, где в проверках провалы, чтобы вы решили, добавить задание, перенести его или убрать дубль. Решение — за вами, ИИ только подсветил места для решения.

Единый банк рубрик

Рубрика — это таблица критериев, по которой оценивают работу: что отличает сильный ответ от слабого. Когда рубрики пишутся отдельно к каждой теме разными людьми в разное время, они расходятся. В одной «полнота ответа» оценивается по трём уровням, в другой по пяти, в третьей такого критерия вообще нет. Для обучающегося это несправедливо: одна и та же работа в разных темах получит разную оценку.

Единый банк рубрик решает это. Идея — выделить общий набор критериев, которые применимы ко многим заданиям курса (полнота, обоснованность, самостоятельность, оформление), и описать их одинаковыми словами один раз. Дальше под конкретное задание берёте нужные критерии из банка, а не сочиняете заново.

ИИ хорошо справляется с двумя черновыми задачами здесь: свести разрозненные рубрики к общему ядру и переписать все критерии единым языком.

1. Соберите существующие рубрики. Скопируйте в чат все критерии, которые уже используете по разным темам, как есть — даже если они разнородные.
2. Попросите выделить общее ядро. «Найди критерии, которые повторяются в разных рубриках под разными названиями. Сведи их к единому списку с одинаковыми формулировками уровней оценки».
3. Получите банк. Запросите итог: «Собери единый банк критериев. Для каждого — название, что он измеряет, описание уровней от высшего к низшему одинаковыми словами».
4. Выверьте смысл каждого уровня. Проверьте, что описание «отличного» уровня действительно отличает сильную работу, а не просто звучит красиво. Здесь ИИ часто пишет обтекаемо — правьте под свою предметную область.

После сборки банка под каждое конкретное задание вы просто выбираете подходящие критерии. Это и есть согласованность: обучающийся видит одни и те же мерки во всём курсе, а проверяющий не изобретает шкалу заново каждый раз.

Согласованность контрольных материалов между темами

Контрольно-измерительные материалы (КИМ) — это конкретные вопросы, задания и тесты, которыми измеряют знания. Когда их собирают по темам независимо, между темами возникают нестыковки трёх видов: разный уровень сложности при одинаковом заявленном результате, повтор одного и того же вопроса в разных формулировках и разрыв, когда задание проверяет не тот результат, который к нему привязан.

ИИ удобно использовать как ревизора, который читает весь банк заданий разом и ищет эти три типа нестыковок. Человеку тяжело сравнить задание из первой темы с заданием из двадцатой — они слишком далеко друг от друга. Машина держит обе в виду одновременно.

Важно: ИИ возвращает подозрения, а не приговор. Он может счесть два разных задания дублями, потому что они похожи по словам, хотя проверяют разное. Или наоборот — пропустить настоящий дубль. Поэтому его список нестыковок вы читаете как подсказку, куда посмотреть внимательнее, а финальное «оставить или переделать» решаете сами по существу предмета.

Порядок работы: ИИ собирает, методист выверяет

Соберём весь урок в один рабочий порядок. Он одинаков для спецификации, банка рубрик и согласования материалов: меняется только содержание входных данных.

1. Дайте ИИ точные входные данные. Результаты обучения, темы, существующие задания и критерии — формулировками из вашей программы, а не пересказом. Качество черновика напрямую зависит от качества входа.
2. Запросите сборку заготовки. Сводную таблицу, единый банк критериев или список нестыковок — в зависимости от задачи. Прямо просите не выдумывать новых заданий и не оценивать «хорошо/плохо», а только сводить и выравнивать.
3. Прочитайте результат критически. Ищите неверные привязки, обтекаемые формулировки уровней, ложные дубли. Это самый долгий этап и единственный, который нельзя поручить машине.
4. Внесите содержательные правки руками. Исправьте привязки, уточните критерии под свою предметную область, примите решения по спорным заданиям.
5. Сохраните выверенную версию как источник. Подключайте её к следующим чатам, чтобы ИИ опирался на ваши проверенные формулировки, а не начинал заново.

В этом порядке ИИ закрывает черновую механику: свести, выровнять, подсветить пустоты. Содержательные решения — что считать достижением результата, где провести границу сильной и слабой работы, какое задание оставить — остаются за методистом. Это разделение и есть ответ на вопрос «как сделать ФОС с ИИ»: не «ИИ написал ФОС», а «ИИ подготовил заготовку, методист собрал из неё фонд».

Чего стоит избегать

Главная ошибка — принять черновик ИИ за готовый документ и подать его как ФОС без выверки. Машина уверенно возвращает таблицы и списки, и эта уверенность обманчива: внутри могут быть неверные привязки и пустые по смыслу критерии. Уверенный вид ответа не означает его правильности.

Вторая ошибка — давать ИИ размытые входные данные. Если результаты обучения сформулированы общо, ИИ построит общую карту, по которой нельзя ничего проверить. Точность входа определяет точность черновика.

Третья — забыть про защиту персональных данных. Если в материалах есть данные конкретных обучающихся, помните про требования закона 152-ФЗ о персональных данных: не загружайте в сторонний чат фамилии, оценки и иные сведения, по которым можно опознать человека. Для сборки ФОС персональные данные не нужны — работайте с программой, темами и критериями, а не с людьми.