Окончание. Начало здесь
Эрл Винер, культовая фигура в области авиационной безопасности, открыл то, что известно сейчас как Законы Винера об авиации и человеческих ошибках.
Виктор Хенкинс, гражданин Великобритании, получил неприятный подарок на Рождество: штраф за парковку в неположенном месте. Хенкинс узнал о штрафе из письма местной администрации, брошенного на придверный коврик его дома. В 20.08 20 декабря 2013 года его автомобиль был блокирован возле автобусной остановки в Брэдфорде графства Йоркшир, и был сфотографирован камерой контроля, установленной на проезжающей мимо машине инспекции. Компьютер определил номерной знак, поискал его в базе данных и нашел адрес мистера Хенкинса. Доказательная база была сформирована автоматически и включала в себя видео происшествия, отметку о времени и местоположении. Письмо администрации Брэдфорда с требованием к Хенкинсу заплатить штраф во избежание судебного иска было составлено, запечатано и отправлено по почте в автоматическом режиме.
Правда, была одна проблема. Машина Хенкинса вообще не была припаркована. Он просто застрял в пробке.
Казалось бы, такая технология в принципе не должна была стать жертвой парадокса автоматизации. Ведь она призвана разгрузить людей для более интересной и нетривиальной работы — проверке из ряда вон выходящих случаев. Как, например, регистрация жалобы Хенкинса, которая скорее всего будет иметь намного более далеко идущие последствия, чем простая запись номерного знака и выписывание штрафа.
Но чиновники, как и пилоты самолета, всецело доверяли технологии. Администрация города сначала отклонила жалобу Хенкинса и признала свою ошибку лишь тогда, когда он пригрозил ей судебным иском.
Чем реже возникают исключения, как в случае с ЭДСУ, тем большие трудности они за собой влекут. Мы исходим из того, что компьютер всегда прав. И когда кто-то говорит, что компьютер сделал ошибку, мы думаем, что он либо сам ошибается, либо лжет. Что происходит, когда частные охранники вышвыривают вас из местного торгового центра, потому что компьютер ошибочно распознал ваше лицо и принял за известного магазинного воришку? (Эта технология сейчас откорректирована, давая возможность ритейлерам распознавать нужных клиентов, чтобы сделать им специальные предложения, когда те приходят в магазин.) Если ваше имя ошибочно попадет в розыскной список полиции, легко ли будет его оттуда исключить?
Сейчас мы состоим в большем количестве различных списков, чем когда-либо раньше, а огромные бумажные архивы из подвалов перекочевали в электронные базы данных компьютера с возможностью мгновенного поиска в них. Все чаще компьютеры управляют этими базами данных самостоятельно, и люди не только не вмешиваются в их работу, но даже вообще с трудом представляют, что там происходит. Зачастую алгоритмы компьютера скрыты от посторонних: оценка работы учителей и школы, водителей Uber или бизнеса в Google, и как правило, являются коммерческой тайной. Независимо от того, содержит ли алгоритм ошибки или какие-то критерии работы в него включены умышленно , он скрыт от глаз наблюдателя, поэтому оспорить такие ошибки или умысел довольно трудно.
Признавая тот факт, что цифровые данные действительно мощный и полезный инструмент, стоит задуматься, как влияет на совершенные компьютерные данные несовершенный мир человека. Очевидно, что компьютер, который в сто раз точнее человека и в миллион раз быстрее, допустит при этом в 10 000 раз больше ошибок. Это не означает, что мы должны отказаться от баз данных и алгоритмов. В конце концов, им найдется применение в расследовании преступлении или регулировании транспортного потока. Но базы данных и алгоритмы, как и автопилот, должны помогать человеку принимать решения, а не принимать их за него. Если полностью полагаться на компьютеры, быть беде.
Гэри Клейн, психолог, специализирующийся на изучении экспертного и интуитивного принятия решений, формулирует проблему: «Когда решения принимают алгоритмы, люди часто предпочитают самоустраниться от этих решений. Когда решение принимают алгоритмы, становится сложно определить причину неудач. И так как люди начинают все больше полагаться на работу алгоритмов, их собственное мнение не формируется, что делает их еще более зависимым от алгоритмов. Этот процесс создает порочный круг. Когда алгоритмы принимают решения, люди становятся пассивными и менее бдительными.»
Эксперты в вопросах принятия решений, такие как Клейн сетуют, что многие разработчики программного обеспечения усугубляют проблему еще больше, намеренно проектируя системы на вытеснение человеческого опыта. Если мы все же захотим использовать спроектированные таким образом системы именно для поддержки человеческого опыта, нам приходится буквально с ними бороться. GPS устройства, например, могут обеспечить все виды поддержки принятия решений, давая возможность водителю просматривать карты и выбирать маршрут. Но эти функции часто спрятаны глубоко в недрах приложений. Нужно приложить усилия, чтобы до них добраться. Зато можно просто нажать кнопку «Начать навигацию» и доверить компьютеру сделать все остальное.
Сладким песням сирен-алгоритмов можно противостоять. Ребекка Плиске, психолог, обнаружила, что метеорологи со стажем при составлении прогнозов погоды сначала изучают исходные данные и формируют личную экспертную оценку, и только потом сверяют свои результаты с результатом компьютерного прогноза, чтобы проверить, вдруг компьютер заметил что-то, что они упустили. Как правило, ошибок нет. Делая прогноз погоды сначала вручную, ветераны метеорологии в отличие от пилотов Airbus 330 сохранили свои острые навыки. В то время, как молодое поколение метеорологов охотнее доверяет компьютерам. После ухода ветеранов на пенсию, способность человека принимать решения может быть утрачена.
Многие из нас испытывали проблемы с GPS. Мы наслышаны и о проблемах с автопилотом. Сложите обе эти технологии вместе, и вы получите беспилотный автомобиль. Крис Урмсон, возглавляющий программу Google по созданию беспилотных автомобилей, выразил надежду, что автомобили вскоре получат такое широкое распространение, что его сыновьям никогда не придется получать водительские права. Идея состоит в том, что в отличие от автопилота самолета, в беспилотных автомобилях человеку никогда не придется брать управление на себя.
Радж Раджкумар, эксперт Университета Карнеги-Меллона в области автоматического управления, полагает, что полностью автономные автомобили появятся лет через 10-20. До тех пор, можно рассчитывать лишь на то, что автомобили будут передвигаться под управлением автопилота только в легких ситуациях, а люди будут брать управления на себя лишь в момент возникновения сложных ситуаций.
«Количество автоматизированных сценариев будет увеличиваться с течением времени, и в один прекрасный день, транспортное средство будет в состоянии контролировать себя полностью самостоятельно. Но этот последний шаг в развитии будет настолько незначительным, что вряд ли кто-то заметит, что это произошло,» сказал Ражкумар и добавил: «Всегда будет сохраняться опасность возникновения каких-то экстремальных событий, которые невозможно держать под контролем.»
Звучит зловеще, но тем не менее. На первый взгляд, кажется логичным, что автомобиль передает человеку управление при возникновении чрезвычайных ситуаций. Но это обнажает две насущные проблемы. Если мы ожидаем от автомобиля, что тот знает, когда нужно передать управление, значит мы предполагаем, что автомобиль осознает пределы своей компетенции, т.е. понимает, на что он способен, а на что — нет. Этого трудно требовать даже от человека, не говоря уже о компьютере.
Кроме того, если мы рассчитываем, что человек в экстренной ситуации возьмет управление на себя, откуда он узнает, как нужно поступить в этой ситуации? С учетом трудностей, которые возникают у хорошо подготовленных пилотов при выяснении того, что пошло не так, когда отключается автопилот выключается, трудно себе представить, что люди смогут распознать момент, когда компьютер совершит ошибку.
«Если человек не участвует в управлении беспилотным транспортным средством, мы не сможем знать наверняка, как водитель отреагирует, когда управление перейдет к нему», говорит Ануй Прадхан из Университета штата Мичиган. — «Вполне вероятно, что мы встретим эту новость, играя в компьютерную игру или общаясь в видео-чате смартфона, а не следя за дорогой и приборами — может быть, не в первую нашу поездку в беспилотном автомобиле, но в сотую — уж точно.»
И когда компьютер решит передать управление человеку, он вполне возможно сделает это при наступлении самых экстремальных и сложных условий. У пилотов Air France было 2-3 минуты, чтобы понять, что делать, когда автопилот их А330 отключился. Много ли шансов отреагировать у вас будет, когда компьютер в вашем автомобиле скажет, «Автоматический режим отключен», и вы, оторвавшись от экрана своего смартфона, увидите автобус, мчащийся вам наперерез?
Ануй Прадхан выдвинул идею, что люди стоит несколько лет тренировать навыки ручного управления, прежде чем им будет разрешено управлять беспилотным автомобилем. Однако не понятно, как это может решить проблему. Независимо от величины стажа ручного управления у водителя, его навыки будут медленно вымываться каждый раз когда он будет ехать в автомобиле, управляемом компьютером. Предложение Прадхана представляет нам худшее из обоих миров. Сначала мы сажаем за руль молодого водителя, чья неопытность на первоначальном этапе получения навыков очень часто будет источником повышенной аварийности. И вот когда этот водитель приобретет необходимый опыт, мы превращаем его в пассажира беспилотного авто. Много ли потребуется времени на то, чтобы навыки вождения были им утрачены?
Именно это и предопределяет условия, при которых решение мелких проблем с помощью цифровых устройств способствует возникновению больших. Когда мы лишены возможности тренироваться на решении мелких задач, помогающем сохранить нам наши навыки, к моменту наступления кризисной ситуации мы оказываемся абсолютно неподготовлены.
Некоторые старшие пилоты призывают своих вторых пилотов выключать время от времени автопилоты, чтобы потренировать свои навыки. Звучит как хороший совет. Но если вторые пилоты будут отключать автопилот, когда это абсолютно безопасно, как они смогут тренировать навыки пилотирования в сложных ситуациях. А если они будут отключать автопилот в сложной ситуации, это может спровоцировать ту саму аварию, предотвращение которой они тренируют.
Альтернативное решение заключается в смене ролей компьютера и человека. Вместо того, чтобы отдавать управление самолетом компьютеру, оставляя человеку возможность взять управление на себя только в случае возникновения сложной ситуации, было бы лучше, чтобы человек управлял самолетом, а компьютер следил за ситуацией, готовый вмешаться. Компьютеры, в конце концов, неутомимы, терпеливы и им не нужна практика. Почему же, мы хотим, чтобы люди контролировали работу машин и не наоборот?
Если требуется участие людей в контролировании работы компьютера, например, в управлении беспилотными летательными аппаратами, компьютеры должны сами программироваться на решение кратковременных сложных ситуаций. Будет еще лучше, если автоматизированная система требовала от человека большего участия в управлении, чем это необходимо. Чтобы дать вам возможность время от времени применять свои навыки управления в критических ситуациях, компьютер мог бы сам создавать для них предпосылки, вынуждая вас всегда быть наготове.
