Сегодня NBJ публикует новый материал в копилку переводов статей, показавшихся подписчикам и редакции по-своему важными и увлекательными. На этот раз Соня Перфилова перевела статью «How to catch a cheat» Тима Харфорда — популяризатора экономики, автора материалов the Financial Times и книги “The Undercover Economist”.

Каковы должны быть устанавливаемые правила и ориентиры? Следует им быть точными, чёткими и продуманными до самых мелочей? Или же расплывчатыми и двусмысленными? Раньше я считал, что ответ очевиден — кто бы предпочел неоднозначность ясности? Но сейчас я уже не так уверен в этом.

Вспомним скандал 2015 года, в который была втянута компания Volkswagen, которая обманывала контролирующие органы относительно объёма выбросов выхлопных газов. Мошенничество стало возможным благодаря тому, что тесты были до абсурда предсказуемы —  они состояли из серии заранее установленных манёвров автомобиля на тренажёре. Машины Volkswagen, оснащённые современными сенсорами, были запрограммированы распознавать набор движений лабораторного испытания и переключаться в специальный режим, при котором снижались темпы работы двигателя и потребление топлива, благодаря чему лучше отфильтровывались выбросы. Обман раскрылся, когда некоммерческая организация закрепила на машинах Volkswagen измерители выбросов и преодолела путь из Сан-Диего в Сиэтл. Это был довольно грубый тест: вне лаборатории невозможно сравнить результаты испытаний. Но несмотря на свою примитивность, он помог уличить мошенников.

История с Volkswagen кажется странным единичным случаем. Но это не так. Аналогичная ситуация произошла в США в 2014 году со стресс-тестами, которые используются для проверки крупных банков. Эти тесты состоят из сценариев «чрезвычайных случаев», для которых банк должен просчитать возможные последствия для его финансового состояния. Стало заметно, что банки делают узкоспециализированные ставки, которые щедро окупаются именно в случае стресс-сценариев. В таких ставках не было коммерческой логики, было очевидно, что они создавались исключительно для прохождения стресс-теста. Кейс Volkswagen повторялся снова – с разницей лишь в том, что действия банков были абсолютно законны.

Тесты могут оказаться неудачными не только из-за своей предсказуемости, но и по причине узости и ограниченности. Несколько лет назад в Великобритании службе скорой помощи поставили задачу реагировать на вызовы по угрожающим жизни случаям в течение восьми минут после поступления звонка. Менеджеры вскоре поняли, что они смогут достичь поставленной цели, если заменят машину с двумя людьми на пару независящих друг от друга парамедиков на велосипедах. Также в отчётах было указано, что скорая во многих случаях успевала за 7 минут и 59 секунд и лишь иногда оказывала помощь спустя 8 минут и 1 секунды — подозрительно своевременно.

Возможно, лучше было бы предоставить решение подобных проблем (или проблем, связанных с созданием правил и применением тестов) компьютерам. Вооруженный большим набором данных компьютер без труда может выяснить, кто заслуживает поощрения, а кто — наказания. Это достаточно популярная идея. Как пишет Кэти О’Нил в своей книге «Weapons of Math Destruction», работающие с большими данными алгоритмы используются для определения преступников, которые смогут получить условно-досрочное освобождение, и для увольнения учителей за некомпетентность.

Такие непрозрачные алгоритмы — чёрные ящики, которые сложно подвергнуть прямому анализу. Их преимущество состоит в том, что их сложнее обмануть. Однако и они не всегда работают хорошо. Например, иногда рекомендации сайтов и интернет-сервисов таких, как Amazon, точны, а иногда не очень. Прямо сейчас Amazon рекомендует мне купить очиститель детских бутылочек. Понятия не имею, с чем это связано, учитывая, что все мои дети уже учатся в школе.

Алгоритм, используемый для выявления некомпетентных учителей, учитывает баллы студентов в начале и в конце каждого учебного года. Если оценки не улучшаются, то именно учитель считается ответственным за это. Достаточно легко понять, какие отрицательные последствия могут иметь подобные алгоритмы. В массиве данных из 300 000 результатов аналитики могут точно выделить закономерности с высокой долей уверенности. Но в классе из 30 человек случайность может стоить учителю работы. Иногда это может быть даже не случайностью, а следствием работы предыдущего преподавателя, который умудрился добиться от учеников высоких результатов, которые сложно поднять ещё выше.

Как и люди, алгоритмы не идеальны. «Вам могут быть интересны очистители для бутылочек» от Amazon — несерьёзная ошибка. А вот “вы уволены” вполне может ей быть. Это означает, что нам необходим контроль за компьютером или способ пересмотра его решений.

Даже если алгоритм безошибочно связал деятельность учителя и оценки учеников, всё равно стоит относиться к решениям компьютера с осторожностью. Профессия учителя предусматривает не только погоню за улучшением оценок студентов, но и многое другое. Привязывая успешность работы преподавателя исключительно к баллам его студентов, мы подталкиваем учителей пренебрегать остальными важными для обучения, но неизмеримыми характеристиками.

Экономисты Оливер Харт и Бенгт Хольмстрём изучали эти проблемы и были награждены Нобелевской премией по экономике в 2016 году. Но слишком часто политики, контролирующие органы и менеджеры игнорируют эти знания.

На самом деле, часто нельзя найти простое решение. В истории с Volkswagen прозрачность тестов была недостатком: контролирующим органам стоило предусмотреть менее предсказуемые испытания, чтобы предотвратить обман. И наоборот: в случае с преподавателями бóльшая прозрачность позволила бы обнаружить проблемы в системе оценки работы учителей.

Пусть алгоритмы могут быть слишком упрощёнными, но иногда и простые правила великолепно работают. К примеру, психолог Герд Гигеренцер [1] составил большую систему эмпирических законов для предсказания различных событий, начиная от схода лавин и заканчивая сердечными приступами. Правда заключается в том, что мир может быть многообразным и сложным. Но когда мы пытаемся решить проблемы с помощью изящных конструкций из контрольных точек и нормативов, именно тогда и начинаются настоящие проблемы.

[1] Герд Гигеренцер. Понимать риски. Как выбирать правильный курс. – М.: КоЛибри, Азбука-Аттикус, 2015. – 352 с.

Автор: Соня Перфилова
Редакторы: Олег Смирнов, Виталия Елисеева, Екатерина Автонова
Иллюстратор: Мария Маслова

Добавить комментарий

Меню
Вставить формулу как
Блок
Строка
Дополнительные настройки
Цвет формулы
Цвет текста
#333333
Используйте LaTeX для набора формулы
Предпросмотр
\({}\)
Формула не набрана
Вставить
%d такие блоггеры, как: