В прошлом году на тихие дороги Монмут-Каунти, штат Нью-Джерси, был выпущен странный беспилотный автомобиль. Экспериментальный аппарат, разработанный исследователями чипмейкера Nvidia, выглядел так же как любой другой беспилотник, но отличался от всего того, что когда-либо было представлено Google, Tesla или General Motors, и это была наглядная демонстрация растущей мощи искусственного интеллекта. Автомобиль не выполнял инструкций инженера или программиста. Вместо этого он полностью полагался на алгоритм, самостоятельно обучившийся вождению, наблюдая, как это делает человек.
Появление подобного автомобиля стало настоящим прорывом. Вместе с тем появляется некоторое чувство тревоги, поскольку не совсем понятно, как машина принимает решения. Информация с датчиков автомобиля поступает прямо в огромную сеть искусственных нейронов, которые обрабатывают данные, а затем направляют команды, необходимые для управления рулевым колесом, тормозами и другими системами. Результат похож на то, что можно было бы ожидать от человека-водителя. Но что, если однажды он сделает нечто неожиданное — врежется в дерево или остановится на зеленый свет? На данном этапе разработки совершенно невозможно разобрать хитросплетение причинно-следственных связей. Система настолько сложна, что даже инженеры, разработавшие ее, не в состоянии пролить свет на ее работу. Также невозможно получить ответ на этот вопрос и от самой системы, поскольку нет очевидного способа создать такую систему, чтобы она всегда могла объяснить, почему она сделала то, что она сделала.
Таинственный мозг этого автомобиля указывает на надвигающуюся проблему, связанную с искусственным интеллектом. Таящаяся в недрах беспилотного автомобиля технология искусственного интеллекта, известная как глубинное обучение, оказалась в последние годы весьма эффективна при решении всевозможных проблем, и широко применяется для таких задач, как субтипирование изображений, распознавание голоса и языковой перевод. Сейчас есть надежда, что похожая методика поможет в диагностике смертельных болезней, принятии решений в торговых сделках на миллионы долларов и во множестве других направлениях, поднимающих целые отрасли на новый уровень.
Но этого не произойдет — не должно произойти — пока мы не найдем способа сделать подобные методы, как глубинное обучение, более понятными для их создателей и более управляемыми для их пользователей. В противном случае будет трудно предсказать, в какой момент могут произойти сбои. А сбои неизбежны. И это одна из причин, почему автомобиль Nvidia все еще экспериментален.
Уже сейчас математические модели используются при определении того, кому стоит предоставить условно-досрочное освобождение, кому одобрить кредит, а кому кого принять на работу. Если бы у вас был доступ к этим математическим моделям, вам была бы понятна их логика. Но банки, военные, работодатели и прочие структуры уже обращают внимание на более сложные подходы к машинному обучению, которые могут сделать автоматизированное принятие решений абсолютно непостижимым. Глубинное обучение, наиболее распространенный из этих подходов, представляет собой принципиально иной путь программирования компьютеров. «Эта проблема уже актуальна, и в будущем она будет еще более актуальной», — говорит Томми Яаккола, профессор Массачусетского технологического института, который работает над приложениями машинного обучения. «Является ли это инвестиционным решением, медицинским решением или, возможно, военным решением, вы не захотите просто полагаться на метод «черного ящика».
Уже имеется аргумент, что возможность получить ответ от Искусственного интеллекта о том, как она пришла к своему решению, является фундаментальным юридическим правом. Начиная с лета 2018 года, Европейский Союз сможет требовать от компаний предоставлять пользователям объяснения решений, которые приняты автоматизированными системами. Это порою невозможно даже для тех систем, которые кажутся относительно простыми на первый взгляд, такими как приложения и веб-сайты, использующие глубинное обучение для показа рекламы или рекомендации песен. Компьютеры, которые запускают подобные службы, запрограммированы сами собой, и они сделали это тем способом, который остается непонятным для нас. Даже инженеры, которые разрабатывают эти приложения, не могут полностью объяснить их поведение.
Это обнаруживает острые вопросы. По мере развития технологии, мы, возможно, вскоре пересечем некоторый порог, за которым использование ИИ потребует определенной трансформации доверия. Конечно, мы, люди, не всегда можем по-настоящему объяснить наши мыслительные процессы, — но мы находим способы интуитивно доверять людям и оценивать их. Насколько это возможно и в отношении машин, которые думают и принимают решения иначе, чем люди? До сих пор мы не создавали машины, работа которых непостижима их же создателями. Насколько мы можем рассчитывать на коммуникативность и разумность машин, которые могут быть непредсказуемыми и непостижимыми? Эти вопросы подводят к переднему краю исследований в области алгоритмов искусственного интеллекта, от Google до Apple и многих не столь широко известных разработчиков, включая одного из великих философов нашего времени.
В 2015 году исследовательская группа при больнице Маунт Синай в Нью-Йорке с воодушевлением начала использовать глубинное обучение в приложении к обширной базе данных больницы о пациентах. Этот набор данных содержит сотни показателей, взятых из результатов диагностирования пациентах, посещений врача и проч. Полученная в результате программа, которую исследователи назвали «Глубинный пациент», была построена с использованием данных примерно 700 000 человек, и при тестировании на новых материалах оказалась невероятно полезной при прогнозировании болезней. Без какой-либо экспертной помощи Deep Patient обнаружил шаблоны, содержащиеся в больничных данных, которые, указывали на предрасположенность людей к широкому спектру заболеваний, включая рак печени. Существует много «очень хороших» методов прогнозирования болезней на основе данных в медкарте пациента, — говорит Джоэл Дадли, возглавляющий команду Mount Sinai. Но, добавляет он, «этот был просто лучше».
В то же время Deep Patient немного озадачивает, на удивление хорошо предвидя начало психических расстройств, таких как шизофрения. Но поскольку шизофрения, как известно, трудно предсказуема медиками, Дадли задался вопросом, как это возможно. И он все еще не знает ответа на этот вопрос. Новый инструмент не дает представления о том, как он это делает. Если что-то вроде Глубинного Пациента действительно хочет помочь врачам, он должен предоставить им обоснование своего предсказания, чтобы убедить их в том, что является точным и доказать, скажем, необходимость изменение в лекарствах, которые кто-то назначает. «Мы можем построить эти модели, — с досадой говорит Дадли, — но мы не знаем, как они работают».
Искусственный интеллект не всегда был таким. С самого начала существовали две научные школы, определяющие, насколько понятным или объяснимым должен быть искусственный интеллект. Многие думали, что имеет смысл создавать такие машины, которые рассуждали бы согласно определенным правилам и логике, а их внутренняя работа оставалась бы прозрачной для любого, кто хотел изучить какую-то часть кода. Другие считали, что интеллект будет легче проявляться, если машины станут черпать вдохновение в биологии и учились, наблюдая и набираясь опыта. Это означало, что программирование компьютера отдавалось на откуп ему самому. Вместо того, чтобы команды для решения проблемы писались программистом, программа сама генерирует свой собственный алгоритм на основе примеров и желаемого результата. Технологии машинного обучения, которые позже эволюционировали в самые мощные сегодня системы ИИ, следуют последнему пути: машина, по сути, сама программирует себя.
Сначала этот подход имел ограниченное практическое применение, и в 1960-х и 70-х годах он оставался в основном узкой областью научной деятельности. Затем возобновился интерес к компьютеризации отраслей человеческой деятельности и появлению больших массивов данных. Это вдохновило разработку более мощных методов машинного обучения, особенно новых версий одной из них, известной как искусственная нейронная сеть. К 1990-м годам нейронные сети могли автоматически оцифровывать рукописные тексты .
Но только в начале нынешнего десятилетия, после нескольких ухищрений и доработок, сверхбольшие или «глубинные» нейронные сети продемонстрировали значительное улучшение в автоматическом восприятии. Сегодняшний взрывной рост ИИ целиком основан на глубинном обучении. Оно дало компьютерам необычайные возможности, такие как способность распознавать произносимые слова почти так же хорошо, как и человек, слишком сложный навык, чтобы вручную вводить код в машину. Глубинное обучение трансформировало компьютерное зрение и значительно улучшило машинный перевод. В настоящее время оно используется для управления всеми видами ключевых решений в медицине, финансах, производстве и за его пределами.
Работа любой технологии машинного обучения по своей природе более непрозрачна даже для компьютерных специалистов, чем система с ручным кодированием. Это не значит, что все будущие технологии искусственного интеллекта будут одинаково непознаваемы. Но по своей природе глубинное обучение — особенно темный черный ящик.
Вы не можете просто заглянуть внутрь глубинной нейронной сети, чтобы увидеть, как она работает. Аргументация сети встроена в поведение тысяч смоделированных нейронов, расположенных в десятках или даже сотнях сложно взаимосвязанных слоев. Каждый нейрон в первом слое получает вход, как и интенсивность пикселя в изображении, а затем выполняет вычисление перед выводом нового сигнала. Эти выходные сигналы передаются в сложной сети нейронам следующего уровня и т. д., пока не будет получен общий результат. Кроме того, существует процесс, известный как метод обратного распространения ошибки, который корректирует вычисления отдельных нейронов таким образом, чтобы сеть научилась выдавать желаемый результат.
Множество уровней в глубинной сети позволяют распознавать вещи на разных уровнях абстракции. Например, в системе, предназначенной для распознавания собак, нижние слои распознают простые вещи, такие как контуры или цвет; Более высокие слои распознают более сложные вещи, такие как мех или глаза; и самый верхний слой идентифицирует все это как собаку. Такой же подход может быть применен, грубо говоря, к другим входным данным, которые заставляют машину обучать себя: звуки, которые составляют слова в речи, буквы и слова, которые создают предложения в тексте, или движения рулевого колеса, необходимые для вождения.
Были использованы оригинальные стратегии, чтобы попытаться понять и объяснить более подробно, что происходит в таких системах. В 2015 году исследователи из Google изменили алгоритм распознавания изображений на основе глубинного обучения, чтобы вместо того, чтобы определять объекты на фотографиях, он генерировал или изменял их сам. За счет эффективного выполнения алгоритма в обратном порядке, они рассчитывали обнаружить функции, которые программа использует для распознавания, скажем, птицы или здания. На полученных изображениях, созданных проектом, известным как Deep Dream, представали фантасмагоричные инопланетные животные, состоящие из облаков и растений, и галлюцинаторные пагоды, цветущие среди лесов и горных хребтов. Изображения доказали, что глубинное обучение не такое уж непостижимое. Они показали, что алгоритмы основываются на знакомых визуальных образах, таких как птичий клюв или перья. Но изображения также свидетельствовали о том, насколько глубинное обучение отлично от человеческого восприятия, в том, что оно могло бы сделать нечто из артефакта, который мы могли и не заметить. Исследователи Google отметили, что когда его алгоритм генерировал изображения гантели, он также генерировал человеческую руку, удерживающую ее. Машина пришла к выводу, что рука является частью этой вещи.
Дальнейший прогресс был основан на идеях, заимствованных из неврологии и когнитивных наук. Группа во главе с доктором из Университета Вайоминга Джеффом Клюном (Jeff Clune) использовала аналоговый эквивалент оптических иллюзий для тестирования глубинных нейронных сетей. В 2015 году группа Клюна продемонстрировала, как определенные изображения могут обмануть такую сеть, заставив ее воспринимать вещи, которых не было, так как изображения использовали низкоуровневые шаблоны, которые искала система. Один из сотрудников Клюна, Джейсон Йосинский, создал инструмент, который действовал наподобие зонда, помещенного в мозг. Инструмент обращался к любому нейрон в сети и искал то изображение, которое активирует его больше всего. Изображения, которые появлялись, были абстрактными (представьте себе импрессионистское скрещивание фламинго со школьным автобусом), подчеркивая тем самым таинственную природу способностей машины к восприятию.
Однако нам нужно больше, чем просто лицезреть мыслительные процессы ИИ. И простого решения не существует. Именно взаимодействие вычислений внутри глубинной нейронной сети имеет решающее значение для распознавания образов более высокого уровня и принятия сложных решений, но эти вычисления являются смешением математических функций и переменных. «Если бы у вас была очень маленькая нейронная сеть, вы могли бы легко ее понять», — говорит Яаккола. «Но как только она становится очень большой, и имеет тысячи нейронов в каждом слое, и при этом состоит из, возможно, сотни слоев, тогда она становится совершенно непостижима».
В офисе вместе с Яакколой находится Регина Барзилай, профессор Массачусетского технологического института, которая намерена применить машинное обучение в медицине. В 43 пару лет назад ей поставили диагноз рак. Диагноз сам по себе был шоком, но Барзилай был еще встревожена и тем, что в помощь в онкологических исследованиях или для назначения лечения пациентов не использовались современные методы статистического и машинного обучения. Она говорит, что ИИ обладает огромным революционным потенциалом для медицины, но понимат, что этот потенциал будет означать выход за рамки сведений содержащихся в медкартах. Она предлагает использовать больше необработанных данных, которые, по ее словам, в настоящее время недостаточно используются: «графические данные, данные патологии, всю эту информацию».
После того, как она прошла лечение рака в прошлом году, Барзилай и ее ученики начали работать с врачами в больнице Массачусетса, чтобы разработать систему, способную формировать отчеты о патологиях для выявления пациентов с определенными клиническими характеристиками, которые исследователи могли бы изучить. Тем не менее, Барзилай поняла, что системе необходимо будет объяснить свои аргументы. И вместе с Яакколой и другим учеником она добавила шаг: система извлекает и выделяет отрывки текста, которые являются репрезентативными по найденному шаблону. Барзилай и ее ученики также разрабатывают алгоритм глубинного обучения, способный обнаруживать ранние признаки рака молочной железы на изображениях маммограммы, и они нацелены на то, чтобы дать этой системе некоторую способность объяснить свои рассуждения. «Вам действительно нужно создать цикл, в котором машина и человек будут сотрудничать», — говорит Барзилай.
Американские военные вкладывают миллиарды в проекты, которые будут использовать машинное обучение, чтобы пилотировать транспортные средства и самолеты, определять цели и помогать аналитикам рассортировывать огромные залежи разведывательных данных. Здесь больше, чем где-либо еще, даже больше, чем в медицине, неприемлемы какие-либо тайны внутри алгоритмов. И министерство обороны назвало возможность объяснения краеугольным камнем работы системы.
Дэвид Ганнинг, программный менеджер Агентства перспективных исследований обороны, наблюдает за программой с соответствующим названием — Explainable Artificial Intelligence (Объяснимый ИИ). Седовласый ветеран агентства, который ранее курировал проект DARPA, приведший в конечном итоге к созданию Siri, Ганнинг говорит, что автоматизация содержится в бесчисленных областях военного дела. Аналитики ИИ тестируют машинное обучение как способ выявления закономерностей в огромных количествах данных наблюдения. В настоящее время разрабатываются и тестируются многие автономные наземные транспортные средства и летательные аппараты. Но солдаты, вероятно, не будут чувствовать себя комфортно в роботизированном танке, логика работы которого им не понятна, и аналитики будут неохотно оперировать информацией, не подкрепленной ходом умозаключений системы. «Часто характер работы этих систем машинного обучения приводит к появлению множества ложных тревог, поэтому аналитику ИИ действительно нужна дополнительная помощь, чтобы понять, на основании чего была сделана та или инаярекомендация», — говорит Ганнинг.
В марте этого года DARPA выбрало 13 проектов из академических и промышленных кругов для финансирования по программе Ганнинга. Некоторые из них могли бы опираться на работу, возглавляемую Карлосом Гестрином, профессором Вашингтонского университета. Он и его коллеги разработали способ, позволяющий системам машинного обучения обосновывать свои результаты. По сути, в рамках этого метода компьютер автоматически находит несколько примеров из набора данных и приводит их в коротком пояснении. Например, система, предназначенная для классификации сообщений электронной почты, поступающих от террориста, может использовать миллионы сообщений при подготовке и принятии решений. Но, используя подход вашингтонской команды, он мог бы выделить определенные ключевые слова, найденные в сообщении. Группа Гестрина также разработала способы для систем распознавания изображений, которым, чтобы обозначить ход своих рассуждений, достаточно выделить наиболее важные части изображения.
Один из недостатков этого подхода и других подобных ему, состоит в том, что предоставленные объяснения всегда будут упрощены, что означает, что некоторые важные сведения могут быть потеряны. «Мечта, в которой ИИ беседует с вами и способна давать пояснения, полностью еще не достигнута», — говорит Гость. «Мы далеки от по-настоящему интерпретируемого ИИ».
И это могут быть не только ситуации с высокими рисками, как диагностика рака или военные маневры, чтобы возникли проблемы. Знание рассуждений ИИ также будет иметь решающее значение, если технология станет общей и полезной частью нашей повседневной жизни. Том Грубер, возглавляющий команду Siri в Apple, говорит, что объяснимость — это ключевое соображение для его команды, поскольку она пытается сделать Сири умнее и более способным виртуальным помощником. Грубер не стал углубляться в конкретные планы относительно будущего Сири, но легко представить, что если вы получите рекомендацию ресторана от Сири, вы захотите узнать, почему именно этот ресторан. Руслан Салахутдинов, директор исследования ИИ в Apple и адъюнкт-профессор Университета Карнеги-Меллона, видит объяснимость в качестве основы развивающихся отношений между людьми и интеллектуальными машинами. «Это зарождение доверия», говорит он.
Так же, как многие аспекты человеческого поведения невозможно объяснить досконально, вероятно, будет невозможно и для ИИ объяснить все, что он делает. «Даже если кто-то может дать вам разумно выглядящее объяснения [для его или ее действий], оно, вероятно, неполно, и то же самое может быть справедливо для ИИ», говорит Клюн из Университета Вайоминга. «Возможно неполная постижимость и невозможность всеобъемлющего рационального объяснения являются неоъемлемой частью природы интеллекта. Некоторые из них просто инстинктивны, или подсознательны, или непостижимы».
Если это так, то на каком-то этапе нам, возможно, придется просто довериться мнению ИИ или отказаться от его использования. Точно так же это решение должно будет включать социальный интеллект. Точно так же, как общество строится на контракте ожидаемого поведения, нам нужно будет проектировать системы ИИ, чтобы уважать наши социальные нормы и соответствовать им. Если мы хотим создавать роботизированные танки и другие машины для убийства, важно, чтобы их принятие решений соответствовало нашим этическим суждениям.
Чтобы исследовать эти метафизические концепции, стоит отправиться в Университет Тафтса и встретиться с Дэниелом Деннеттом, известным философом и ученым-когнитологом, который изучает сознание и мозг. Глава последней книги Деннетта «От бактерии до Баха и обратно» , энциклопедического трактата о сознании, предполагает, что естественная часть эволюции самого интеллекта — это создание систем, способных выполнять задачи, которые их создатели выполнить не могут. «Вопрос в том, что нам нужно сделать, чтобы сделать это разумно: какие стандарты мы требуем от них и от нас самих?» — говорит Деннет.
Он также предупреждает относительно поисков объяснимости: «Я думаю, что, если мы собираемся использовать эти вещи и полагаться на них, тогда давайте хорошенечко разберемся в том, как и почему они дают нам ответы, насколько это возможно». Но так как не может быть идеального ответа, мы должны с осторожностью относиться к объяснениям ИИ, какой бы умной нам не показалась машина. «Если он не может обяснить свои действия лучше нас, — говорит он, — то не стоит ей доверять».
