Модуль t.3 · Урок 1
Тест через таблицу спецификаций: как заказать ИИ сбалансированную проверочную
Чему научитесь
- Понимать, почему ИИ по запросу «составь тест» выдаёт перекошенный набор вопросов и как это исправить
- Строить таблицу спецификаций — сетку «тема × уровень сложности» на одном листе за пять минут
- Превращать эту таблицу в чёткий заказ для нейросети, чтобы тест покрывал весь материал
- Проверять готовый тест на перекосы и просить переделать только то, что не сошлось
Знакомая боль: тест получился кривым
Вы попросили нейросеть: «Составь тест на 10 вопросов по теме „Дроби“». Через секунду перед вами десять вопросов. На вид — нормально. Но если присмотреться, восемь из них спрашивают одно и то же: «найди значение дроби». А целый кусок темы — сравнение дробей, задачи на смысл — вообще не попал в тест.
Так происходит почти всегда. Нейросеть — это очень начитанный помощник, который угадывает «среднестатистический тест» по вашей короткой фразе. Она не знает, что именно вы проходили на уроках и что для вас важно. Поэтому хватает первое, что приходит «на ум», и лепит однотипные вопросы.
Результат: тест проверяет не знание темы, а узкий навык. Сильный ученик, который зазубрил один приём, получит пятёрку. А тот, кто реально понял тему вглубь, может споткнуться — потому что глубоких вопросов в тесте просто нет.
Есть и обратная беда. Иногда нейросеть, наоборот, набивает тест мудрёными формулировками, и тогда проваливается весь класс, кроме пары отличников. И в том, и в другом случае оценки получаются несправедливыми — не потому, что дети плохо учились, а потому, что тест был собран наугад. А разбираться с обиженными учениками и недовольными родителями потом вам.
Лечится это одним приёмом. Перед тем как просить вопросы, вы даёте нейросети не фразу, а карту теста. Эта карта называется таблицей спецификаций. Звучит сухо, на деле — обычная сетка на тетрадном листе.
Что такое таблица спецификаций
Таблица спецификаций — это двусторонняя сетка. По строкам — темы, которые вы хотите проверить. По столбцам — уровни сложности вопросов. На пересечении вы пишете, сколько вопросов нужно по этой теме и этого уровня.
Проще говоря: это план теста до того, как тест написан. Вы заранее решаете «по этой теме два лёгких вопроса и один трудный», а уже потом просите нейросеть наполнить план конкретными формулировками.
Зачем вообще делить тему на строки? Чтобы ничего не выпало. Когда тема разложена на подтемы прямо перед глазами, вы физически не сможете забыть про деление клетки или про сравнение дробей — пустая строка в таблице сразу бросится в глаза. Это страховка от самой обидной ошибки в тесте: целый раздел просто не попал в проверку.
А зачем разделять уровни сложности? Чтобы тест не скатился целиком в лёгкое или целиком в зубодробительное. Договоримся о трёх уровнях простыми словами:
- Лёгкий — «вспомнить». Ученик просто достаёт факт из памяти. Определение, формула, дата. Знаешь — ответил.
- Средний — «применить». Надо взять правило и решить по нему типовую задачу. Не вспомнить, а сделать по образцу.
- Трудный — «подумать». Нестандартная ситуация, где надо сообразить, какое правило вообще применять, или объяснить почему.
Когда у каждого вопроса есть и тема, и уровень, тест перестаёт быть случайной кучей. Вы видите его насквозь.
Сколько вопросов какого уровня брать
Тут есть простой ориентир, от которого удобно отталкиваться: примерно 60 / 30 / 10. То есть на каждые десять вопросов — шесть лёгких, три средних и один трудный.
Логика бытовая. Большую часть теста стоит отдать тому, что обязан знать каждый — иначе слабые ученики провалятся целиком и тест ничего не покажет, кроме того, что им тяжело. Средние вопросы отделяют тех, кто понял, от тех, кто только запомнил. А пара трудных нужна, чтобы сильным было где развернуться и чтобы пятёрка что-то значила.
Возьмём живой пример. Учитель биологии собирает проверочную на 10 вопросов по теме «Клетка». Тема делится на три подтемы: строение клетки, функции органоидов, деление клетки. Вот как может выглядеть его таблица спецификаций.
| Подтема | Лёгкие (вспомнить) | Средние (применить) | Трудные (подумать) |
|---|---|---|---|
| Строение клетки | 2 | 1 | 0 |
| Функции органоидов | 2 | 1 | 1 |
| Деление клетки | 2 | 1 | 0 |
| Итого | 6 | 3 | 1 |
Вся работа — расставить десять чисел по клеткам. Заняло это пять минут. Но теперь вы держите в руках не пожелание, а точный чертёж: ни одна подтема не забыта, и сложность распределена осознанно, а не как нейросеть угадает.
Как отдать таблицу нейросети
Главный фокус — не просить «составь тест», а отдать готовую таблицу и сказать «наполни её». Тогда нейросеть перестаёт фантазировать про структуру и занимается только формулировками вопросов. Структуру задали вы.
Запрос для нейросети выглядит так. Можете скопировать и подставить свои данные:
Ты — методист. Составь тест по теме «Клетка» для 9 класса
строго по таблице спецификаций ниже. Не отклоняйся от неё:
сколько вопросов указано в клетке — столько и сделай, того
же уровня и по той подтеме.
Уровни сложности понимай так:
- лёгкий — на вспоминание факта (определение, функция);
- средний — на применение правила к типовой ситуации;
- трудный — на нестандартную задачу или объяснение «почему».
Таблица спецификаций (подтема × уровень = количество вопросов):
- Строение клетки: лёгких 2, средних 1, трудных 0
- Функции органоидов: лёгких 2, средних 1, трудных 1
- Деление клетки: лёгких 2, средних 1, трудных 0
Для каждого вопроса в скобках после него подпиши подтему
и уровень — чтобы я могла проверить соответствие таблице.
Дай 4 варианта ответа и отметь правильный.Две детали в этом запросе делают всю работу. Первая — вы перечислили клетки таблицы прямо текстом, цифра в цифру. Вторая — попросили нейросеть подписать у каждого вопроса его подтему и уровень. Эта подпись — ваш способ за минуту проверить, что машина не схитрила.
Проверяем и чиним точечно
Нейросеть редко попадает идеально с первого раза. Она может сделать «трудный» вопрос, который на деле лёгкий, или дать по одной подтеме лишний вопрос. Это нормально. Ваша задача — не переписывать весь тест, а указать на конкретное расхождение.
- Сверьте количество. Пройдитесь по подписям под вопросами и пересчитайте: совпадает ли число вопросов в каждой клетке с вашей таблицей.
- Проверьте сложность на глаз. Прочитайте «трудные» вопросы. Если ответ на них — просто вспомнить определение, значит, нейросеть завысила уровень. Так бывает часто.
- Дайте точечную правку. Не переделывайте всё. Напишите: «Вопрос 7 ты пометила как трудный, но это вспоминание факта. Замени на задачу, где надо объяснить, почему деление важно».
- Повторите при нужде. Один-два круга правок — и тест садится по таблице.
Привычка проверять «трудные» вопросы — самая важная. Машина охотно вешает ярлык «трудный» на обычный вопрос, потому что формулировка звучит мудрёно. А по сути это всё то же вспоминание. Доверяйте не ярлыку, а своему учительскому чутью: что на самом деле требует от ученика этот вопрос — память, действие или мысль.
Точечная правка работает лучше переделки всего теста ещё по одной причине. Когда вы просите нейросеть «сделай заново», она часто меняет и те вопросы, которые вас полностью устраивали, — и вы получаете новый набор проблем вместо старого. А когда вы указываете на один конкретный вопрос, всё остальное остаётся на месте. Так вы доводите тест до нужного вида короткими шагами, не теряя удачные находки.
Когда таблица особенно выручает
Этот приём окупается не на каждой пятиминутке. Для трёх вопросов «по горячим следам урока» городить таблицу незачем — проще спросить устно. Но есть случаи, где таблица спецификаций экономит вам нервы и репутацию.
Первый — итоговая или четвертная работа, которая охватывает большую тему. Там легко забыть целый раздел, и таблица не даёт этому случиться. Второй — когда нужно несколько равноценных вариантов теста. Одна таблица, заполненная по-разному, гарантирует, что варианты одинаковы по охвату и сложности, и никому не достанется «лёгкий» билет. Третий — когда работу потом увидят завуч или родители, и нужно показать, что проверка построена осмысленно, а не наспех.
И ещё одна выгода, которая выяснится не сразу: однажды собранная таблица служит вам годами. Тема «Клетка» из года в год примерно одна и та же. Заполнили сетку один раз — и в следующем сентябре просто достаёте её, на минуту правите числа и снова просите нейросеть наполнить вопросами. По сути вы один раз продумали, что и как проверяете, а пользуетесь этим решением каждый учебный год. Тест каждый раз будет свежим по формулировкам, но одинаково честным по охвату.
Зачем в запросе к нейросети просить подписать у каждого вопроса его подтему и уровень сложности?
Возьмите ближайшую тему, по которой собираетесь делать проверочную. Разбейте её на 2–4 подтемы и нарисуйте на листе сетку: подтемы по строкам, три уровня (вспомнить / применить / подумать) по столбцам. Расставьте числа так, чтобы в сумме вышло 10 вопросов с примерным раскладом 6 лёгких, 3 средних, 1 трудный. Затем перенесите эти числа в запрос-шаблон из урока и попросите нейросеть наполнить таблицу. Сверьте результат по подписям и дайте одну точечную правку.
Главное из урока
Нейросеть сама по себе делает однобокие тесты — она угадывает «средний тест» и хватает однотипные вопросы. Чтобы получить сбалансированную проверочную, структуру теста задаёте вы, а не машина. Инструмент для этого — таблица спецификаций, обычная сетка «тема × уровень сложности» на одном листе.
Вы заполняете клетки числами, отталкиваясь от ориентира 60/30/10, отдаёте эту таблицу нейросети текстом и просите наполнить её вопросами с подписью подтемы и уровня у каждого. Потом за минуту сверяете подписи с таблицей и чините точечно, особенно проверяя, что «трудные» вопросы действительно трудные, а не замаскированное вспоминание.