Контекст и легенда
Осенью 1945 года, когда моему отцу не исполнилось и восьми лет, учительница сказала моей бабушке, что он не успевает во втором классе.
Мой отец не помнит причин, а может быть, бабушка никогда не говорила ему об этом, но учительница посчитала, что он не готов к работе во втором классе.
«Если он не успевает во втором классе, - предложила моя бабушка, - почему бы не попробовать его в третьем?» И она нашла репетитора, учителя-пенсионера из другой школы.
В течение семи недель мой отец по часу в день занимался с репетитором, который после каждого занятия давал ему домашнее задание. Задача репетитора состояла в том, чтобы мой отец освоил учебную программу не только для второго класса, но и для третьего, чтобы в январе 1946 года, на год раньше, он смог перейти в третий класс и не нуждался в дополнительной помощи.
Но репетитор перестарался. Мой отец не только не встретил в третьем классе ничего, чему бы его не научили, но и успешно справился с четвертым и пятым классами.
Примерно в 1960 году, делая покупки в магазине Filene's Basement в центре Бостона, моя бабушка столкнулась со старой соседкой - мамой, которая переехала, когда моя бабушка искала репетитора, чтобы помочь своему сыну перейти из второго класса. Похваставшись своей семьей, соседка спросила, все ли в порядке с моим отцом.
«С ним все в порядке!» - с триумфом сказала моя бабушка. «Он учится в Оксфорде, на стипендию Родса».
Подобные истории создают впечатление, что репетиторы могут творить чудеса. На протяжении столетий после того, как Аристотель обучал Александра Македонского, некоторые люди, включая Альберта Эйнштейна, Феликса Мендельсона, Агату Кристи и практически всех британских монархов до Карла III, получали образование частично или полностью с помощью частных репетиторов и членов семьи.
В эссе 1984 года The 2 Sigma Problem Бенджамин Блум утверждал, что репетиторы предлагают «лучшие условия обучения, которые мы можем себе представить». По мнению Блума, репетиторство может поднять результаты на две «сигмы», а ключевая задача образования - создать более экономичные методы, приближающиеся к этому эффекту.
Статья Блума «Проблема 2 сигм» быстро стала классической. Уже через два года после публикации ее активно цитировали, а за последние 10 лет число цитирований превысило 2000.
Влияние эссе Блума вышло далеко за пределы научной литературы. С развитием компьютеров и телекоммуникаций многие эксперты видели в технологиях путь к решению вызова Блума.
Начиная с 1980-х годов исследователи развивали «когнитивных компьютерных репетиторов», а в 2010-х видеосвязь приблизила идею широкого доступа к тьюторам. Затем в конце 2022 года скачок генеративного ИИ снова оживил дискуссию.
Сал Хан в 2023 году представил Khanmigo как шаг к масштабируемому репетиторству на базе ИИ. На фоне постпандемийных потерь в чтении и математике тема персональной поддержки студентов стала еще острее.
Реалистичны ли эффекты двух сигм?
Но насколько реально ожидать, что любой вид репетиторства - с участием человека или искусственного интеллекта - улучшит успеваемость учащихся на два стандартных отклонения?
Две сигмы - это огромный эффект: переход от среднего уровня к 98-му процентилю. Это больше чем двукратная разница по сравнению с типичными социально-экономическими разрывами и эквивалент нескольких лет обучения на старших ступенях.
В 2020 году Мэтью Крафт отметил, что большинство образовательных интервенций дают эффект 0.1 стандартного отклонения или меньше. Репетиторство обычно сильнее, но редко достигает 2.0.
В метаанализе Cohen, Kulik & Kulik (1982) средний эффект репетиторства был около 0.33. В метаанализе Nickow, Oreopoulos & Quan (2020) - около 0.37. Впечатляюще, но это заметно ниже «двух сигм».
Отсюда вопрос: откуда у Блума появилась цифра 2.00 и почему ее продолжают повторять спустя десятилетия?
Какие доказательства были у Блума?
Первый рисунок Блума был иллюстрацией, а не графиком реальных данных. Далее в таблице 1 он сравнивал эффекты интервенций, где репетиторство оценивалось в 2.00, а другие методы тоже выглядели необычно сильными по нынешним меркам.
Блум ссылался на обзор Уолберга, но таблицы не совпадали полностью. Уолберг оценивал общий эффект репетиторства примерно в 0.40 и не ставил его на первое место.
Ключевое расхождение: 0.40 у Уолберга против 2.00 у Блума как характерной оценки репетиторства.
Блум полагался на двух студентов
Похоже, что существенная часть основания «двух сигм» пришла из диссертационных исследований Джоанны Анании и Артура Берка. Оба автора получили сильные эффекты при сравнении репетиторства с обычным обучением в классе.
Позднее эти работы получили относительно ограниченное развитие, и возникает естественный вопрос: если был найден стабильный способ получать «2 сигмы», почему направление не дало массово воспроизводимых результатов в последующих исследованиях?
Это не обесценивает работы Анании и Берка, но подчеркивает необходимость проверять масштабируемость и переносимость эффекта.
Эффект двух сигм был вызван не только репетиторством
При внимательном чтении видно, что в экспериментах был не один фактор, а целая комбинация. Студенты проходили узконаправленные тесты по незнакомому материалу, а такие условия обычно дают более высокие приросты, чем широкие стандартизированные экзамены.
Студенты получали дополнительное тестирование и обратную связь. После занятий проводились дополнительные проверки, разбор ошибок и повторные попытки, которых не было у группы обычного класса.
Репетиторы проходили дополнительную подготовку. Их обучали техникам объяснения, вопросным стратегиям, поддержанию активности и качественной развивающей обратной связи.
Репетиторство было комплексным. Во многих случаях оно фактически заменяло обычные занятия, а не дополняло их эпизодически.
Важно, что часть прироста могла приходиться на сами механики «mastery learning» - корректирующую обратную связь и повторное тестирование, а не только на формат 1:1.
Все то, что блестит
История семьи автора показывает, как качественное индивидуальное сопровождение может реально изменить траекторию. Но не вся индустрия репетиторства работает в таком режиме.
В пандемийные годы многие программы были поверхностными: редкие занятия, слабая индивидуализация, низкая вовлеченность. В таких условиях эффекты были минимальными.
Более структурированные модели, такие как Saga Education, показывали куда более сильные результаты благодаря интенсивности, подготовке тьюторов, регламенту занятия и коротким диагностическим проверкам.
Даже там эффект обычно составлял 0.16-0.37 стандартных отклонений - это много, но не «2 сигмы».
Реально ли достичь эффекта двух сигм?
Идея о стабильных «двух сигмах» как универсальном результате выглядит преувеличенной. Эффекты репетиторства зависят от качества программы, плотности обратной связи, методики проверки и формата итоговой оценки.
Эффекты Анании и Берка были реальными, но получены в узком экспериментальном контексте и при мощном наборе сопутствующих вмешательств.
Для ИИ-репетиторства практичнее ставить реалистичные цели: надежный и масштабируемый прирост порядка одной трети стандартного отклонения, затем постепенные улучшения через тестирование и итерации.
Чрезмерные обещания могут привести к разочарованию и искаженным практикам. Гораздо продуктивнее сочетать естественно-языковой интерфейс ИИ с проверенной дидактикой, формальными знаниями и аккуратной методологией оценки.
