Перейти к содержимому
AUTHORВЫПУСК №008 → АВТОМАТИЗАЦИЯ АГЕНТАМИ: 90% НЕ ПРОМПТ / имейте совесть, когда будете делиться или копировать
>AISTUDY_

Модуль t.4 · Урок 1

Урок 1: Проверять против рубрики, а не «оцени это»

~25 мин
t.4 / Урок 1 из 4

Чему научитесь

  • Видеть, почему запрос «оцени это сочинение» даёт случайную оценку, а не разбор
  • Превращать свои критерии оценивания в рубрику — простую табличку «что считать слабым, средним и сильным»
  • Просить ИИ оценивать работу строго по каждому критерию и требовать обоснование на каждый балл
  • Оставаться финальным арбитром: ИИ-оценка — это черновик, а не приговор

Для практики используем arckep.ru — основные модели, без VPN, оплата рублями. Можно взять любой другой сервис.

Главная ошибка: «оцени это»

Учитель загружает сочинение ученика в чат с ИИ и пишет: «Оцени это сочинение». Через секунду приходит ответ: «Хорошая работа, 4 балла». И всё.

Откуда взялась эта четвёрка? Ни из чего. ИИ — это очень начитанная программа, которая угадывает, как «обычно» оценивают тексты в интернете. Без ваших правил он берёт усреднённую оценку из миллионов чужих проверок и выдаёт её как вашу.

Завтра вы загрузите похожее сочинение — и получите тройку. Послезавтра — пятёрку. Оценка пляшет, потому что у ИИ нет опоры. Он не знает, что для вас важно: грамотность, аргументы, структура или раскрытие темы.

Сравните с тем, как вы проверяете сами. У вас в голове есть критерии: за что снижаете, что считаете сильным ходом, где граница между «средне» и «хорошо». ИИ этого не видит. Пока вы не покажете.

Корень проблемы в том, что слово «оцени» для ИИ ничего не значит. Оценить можно по орфографии, по глубине мысли, по аккуратности почерка — вариантов десятки. Вы держите нужный в уме автоматически, потому что десять лет проверяете один и тот же предмет. ИИ начинает с чистого листа на каждой работе и выбирает критерий случайно. Отсюда и скачущие баллы.

Вот как выглядит разница между двумя подходами наглядно — слева путь, который ведёт к случайной оценке, справа правильный:

flowchart TD
    A[Работа ученика] --> B{Как спросить ИИ?}
    B -->|"Оцени это"| C[ИИ берёт усреднённый шаблон]
    C --> D[Случайный балл без опоры]
    B -->|"Оцени по рубрике"| E[ИИ мерит вашей линейкой]
    E --> F[Разбор по критериям с цитатами]
    F --> G[Учитель ставит финальный балл]

Левая ветка — то, чего мы избегаем. Правая — то, что строим в этом уроке.

Что такое рубрика

Рубрика — это ваша линейка для измерения работы. Простая таблица: слева критерии (за что оцениваете), справа — описание, что считается слабым, средним и сильным уровнем по каждому критерию.

Вы и без ИИ держите такую линейку в голове. Задача — выложить её на бумагу словами, чтобы ИИ мерил той же линейкой, что и вы, а не своей придуманной.

Вот пример рубрики для проверки сочинения-рассуждения. Три критерия, по каждому — три уровня:

КритерийСлабоСильно
Раскрытие темыУченик ушёл в сторону, пишет о другом или повторяет тему общими словамиТема раскрыта с конкретными примерами, видна собственная мысль автора
АргументыУтверждения без доказательств, «это так, потому что так»Каждая мысль подкреплена примером из текста или жизни
СтруктураСплошной поток без абзацев, мысли перескакиваютЕсть вступление, основная часть, вывод; абзацы по смыслу

В таблице для краткости два столбца, «слабо» и «сильно». В реальной рубрике добавляют средний уровень — описание «работа неплохая, но до сильной не дотягивает вот чем». Чем подробнее вы опишете уровни, тем точнее ИИ попадёт в вашу оценку.

Важная мысль: рубрика — это не лишняя бюрократия, которую вы заводите ради ИИ. Это просто запись того, что вы и так делаете в голове. Один раз выписали — и пользуетесь и сами, и через ИИ, на любой стопке работ по этому заданию. Многие учителя, собрав первую рубрику, замечают, что и собственная проверка стала ровнее: проще объяснить ученику, почему именно такая отметка.

Не пытайтесь описать всё на свете. Три-четыре критерия — рабочий максимум для одной работы. Если критериев десять, ученик в обратной связи утонет, а ИИ начнёт путаться, какой из них главный. Берите то, что для конкретного задания действительно решает: за сочинение — мысль и аргументы, за лабораторную — ход рассуждения и аккуратность вывода.

Как дать рубрику ИИ

Теперь главное — как именно скормить рубрику ИИ, чтобы он оценивал по ней, а не по своему усмотрению.

  1. Вставьте саму рубрику в начало запроса. Перечислите критерии и опишите уровни — прямо текстом, как в таблице выше. Это ваша линейка.
  2. Дайте работу ученика следом. Текст сочинения, решения, эссе — целиком, без сокращений.
  3. Потребуйте разбор по КАЖДОМУ критерию отдельно. Не общую оценку, а отдельный вывод по раскрытию темы, отдельный — по аргументам, отдельный — по структуре.
  4. Попросите обоснование на каждый балл. ИИ должен показать, какая фраза в работе ученика привела его к выводу. Без обоснования оценка снова превращается в гадание.
  5. Прочитайте разбор и решите сами. Вы соглашаетесь с ИИ или поправляете. Финальный балл ставите вы.

Связка простая: сначала линейка, потом работа, потом требование мерить строго по линейке и показывать, откуда взялся каждый вывод.

Готовый промпт для проверки

Вот шаблон запроса, который можно скопировать и подставить свою рубрику. «Промпт» — это просто текст задания, которое вы пишете ИИ.

Ты — помощник учителя при проверке сочинений. Оцени работу
ученика СТРОГО по рубрике ниже. Не выдумывай своих критериев.

РУБРИКА:
1. Раскрытие темы.
   Слабо — ученик ушёл в сторону или повторяет тему общими словами.
   Средне — тема раскрыта, но поверхностно, без своей мысли.
   Сильно — тема раскрыта с конкретными примерами, видна мысль автора.

2. Аргументы.
   Слабо — утверждения без доказательств.
   Средне — есть примеры, но не ко всем мыслям.
   Сильно — каждая мысль подкреплена примером.

3. Структура.
   Слабо — сплошной текст без абзацев.
   Средне — абзацы есть, но логика прыгает.
   Сильно — вступление, основная часть, вывод; абзацы по смыслу.

ЗАДАНИЕ:
- По каждому из трёх критериев отдельно укажи уровень
  (слабо / средне / сильно).
- На каждый уровень приведи КОНКРЕТНУЮ цитату из работы ученика,
  которая объясняет твой вывод.
- В конце — короткая сводка, что ученику стоит улучшить
  в первую очередь.
- НЕ ставь итоговый балл. Финальную оценку поставит учитель.

РАБОТА УЧЕНИКА:
[сюда вставляете текст сочинения]

Обратите внимание на последнюю строчку задания: вы прямо запрещаете ИИ ставить итоговый балл. Он даёт разбор — балл ставите вы. Это и есть правильное разделение труда.

Почему обоснование важнее самой оценки

Самое ценное в таком разборе — не уровень «слабо/сильно», а цитата, которой ИИ его подтверждает.

Когда ИИ пишет «структура слабая, потому что вот этот абзац про погоду стоит посреди рассуждения о дружбе» — вы видите конкретную фразу и можете сами проверить, прав он или нет. Если цитата мимо — вы сразу понимаете, что разбор ненадёжный, и отбрасываете его.

Без обоснования вы получаете голую оценку, которую невозможно перепроверить. С обоснованием — у вас в руках разбор, где каждый вывод привязан к конкретному месту в работе. Такой разбор экономит время: вы не перечитываете всё сочинение, а проверяете три-четыре указанные ИИ точки.

Есть и побочная польза. Когда вы требуете цитату на каждый вывод, ИИ становится осторожнее: ему труднее придумать оценку из воздуха, если нужно подкрепить её реальной фразой из работы. Требование обоснования само по себе дисциплинирует ответ и снижает количество выдумок. Это та же логика, что и с учеником: «докажи цитатой» отсекает голословные утверждения.

ИИ ошибается — и это нормально

ИИ не идеальный проверяющий. Он может неверно понять иронию ученика, принять сложную мысль за путаную, придраться к стилю там, где у ребёнка живой голос.

Поэтому правило одно и оно не обсуждается: ИИ-оценка — это черновик. Первый проход, который экономит вам время на рутине. Финальный арбитр — всегда человек, то есть вы.

Вы читаете разбор ИИ как мнение толкового, но не всегда чуткого ассистента. Соглашаетесь с тем, что верно. Отбрасываете то, где он промахнулся. Ставите свой балл и пишете свою обратную связь ученику.

Когда рубрика особенно выручает

Рубрика окупается не на одной работе, а на стопке. Когда перед вами тридцать однотипных сочинений, ИИ с единой рубрикой проходит их одинаковой линейкой — без усталости к двадцатой работе и без того, что под вечер планка незаметно ползёт.

Вы по-прежнему перечитываете каждый разбор и ставите баллы сами. Но рутинную часть — найти, где у ученика провисает аргумент, где сбита структура — ИИ берёт на себя, и берёт ровно по вашим критериям.

И ещё один плюс: одна и та же рубрика делает вашу проверку прозрачной. Если родитель или ученик спросит «почему четыре, а не пять», у вас есть письменный критерий, а не «мне так показалось».

Со временем рубрика становится вашим личным инструментом, который вы дорабатываете. Проверили стопку, заметили, что ИИ постоянно мимо по одному критерию — значит, вы описали уровень нечётко. Подправили формулировку, и следующая стопка идёт точнее. Так линейка год от года становится острее, и не только для ИИ — для вас тоже.

Частые вопросы

А если у меня уже есть критерии оценивания из методички?

Отлично, половина работы сделана. Возьмите их и перепишите простым языком: что именно считается слабым, средним и сильным уровнем по каждому пункту. Канцелярит из методички ИИ поймёт, но вам самим сверять результат будет проще с человеческими формулировками.

Нужно ли загружать всю работу целиком или можно кусками?

Целиком. Если дать ИИ половину сочинения, он оценит структуру и раскрытие темы по обрывку и ошибётся. Вставляйте текст работы полностью, ничего не сокращая.

ИИ поставил уровень, а цитату привёл не из той работы. Что делать?

Это сигнал, что разбор ненадёжный — отбрасывайте его и проверяйте сами. Иногда помогает запустить заново с уточнением «приводи цитаты только из текста ученика, ничего не выдумывай». Но если ИИ путается, доверие к этому конкретному разбору должно упасть до нуля.

Что обязательно нужно дать ИИ, чтобы он проверял работу осмысленно, а не наугад?

Варианты ответа
Соберите свою рубрику за 15 минут

Возьмите любое задание, которое скоро будете проверять. Выпишите 3 критерия, по которым вы реально оцениваете эти работы. Для каждого критерия в одну фразу опишите, что считаете слабым уровнем и что — сильным. Вставьте получившуюся рубрику в шаблон промпта выше, добавьте одну реальную работу ученика и запустите. Сравните разбор ИИ со своим впечатлением: где совпали, где ИИ промахнулся.

Главное из урока

Запрос «оцени это» заставляет ИИ гадать, потому что у него нет вашей линейки. Дайте рубрику — критерии плюс описание уровней — и оценка перестанет прыгать. Требуйте разбор по каждому критерию с цитатой-обоснованием: именно цитата позволяет вам быстро перепроверить вывод. И помните разделение труда — ИИ готовит черновик разбора, финальный балл и обратную связь ученику остаются за вами.

Скачать урок

Есть идея или нашли ошибку?

// Обсуждение

Можно писать анонимно. Укажите email, чтобы получать уведомления об ответах.