Искусственный интеллект на грани нервного срыва
В 2018 году искусственный интеллект вышел «на свободу». Были реализованы первые масштабные проекты внедрения систем распознавания образов, движения беспилотного транспорта, найма сотрудников. Эти опыты выявили пять важнейших угроз от ИИ, которые заставляют скептиков требовать сначала установить этические нормы в его отношении, а уже затем продолжать масштабные эксперименты
«Уничтожай прошлое, делай будущее», — говорит юному скучающему миллиардеру героиня фильма «Космополис», пока они ползут по Нью-Йорку в бронированном звуконепроницаемом лимузине. Город охвачен протестами, демонстранты опрыскивают машину спреем, прыгают на нее, пытаются перевернуть, но юный биржевик погружен в танец цифр на мониторе — цифр, которые дадут ему заработать на полном распаде всего вокруг.
Художники всегда видят вперед, вот и режиссер фильма Дэвид Кроненберг еще шесть лет назад показал, как цифра подчиняет себе не только рабов, но и хозяев жизни, погружая их в дурную бесконечность существования без эмоций, воли и даже идентичности, превращая «богов» в машины.
Впрочем, с точки зрения технократов-оптимистов, это лишь очередная страшилка. Современное искусство, прикладная наука и транснациональный капитализм соединились сегодня в общем порыве к безграничному горизонту, за которым машина и человек сольются в единое существо, извлекающее прибыль не только из энергии и элементов Земли, но и непосредственно из всех накопленных человечеством за долгую историю знаний. Искусственный интеллект через системы машинного обучения извлечет из человека необходимый информационный ресурс, так что прошлое будет не уничтожено, а монетизировано.
Обширные территории до самого горизонта на карте бизнеса, связанного с ИИ, заняты сейчас несколькими глобальными мегакорпорациями — это все те же Amazon, Google, Apple, Microsoft, Tencent, Facebook (соцсеть признана в РФ экстремистской и запрещена). Именно они застраивают пейзаж, создают там инфраструктуру и новые механизмы аккумулирования капитала и эксплуатации природных и человеческих ресурсов планеты.
Год великого перелома
Еще год назад журнал Forbes оптимистично писал, что 2018-й станет прорывным в целом спектре областей, связанных с ИИ. В первую очередь называли автомобильную отрасль, где ИИ не только будет управлять машиной, но и возьмет под свою ответственность безопасность, досуг и даже эмоциональное состояние пассажиров. ИИ станет совсем умным и начнет отвечать на вопрос «почему», объясняя потребителям, что стоит за тем или иным решением. Ценообразование станет динамическим и будет меняться не только в зависимости от общего спроса и предложения, но с учетом запросов и даже эмоций конкретного потребителя, для каждого из которых будет установлена своя цена. О том, чтобы вызвать эмоции, благоприятные для совершения покупки, позаботятся не только вездесущие чат-боты, но и информационные помощники типа Сири. ИИ станет вездесущим, как вода и воздух, а компании, не добавившие хотя бы тонкий слой ИИ на свой продукт, заведомо потеряют в конкурентной борьбе.
2018 год позади. Действительно, связанные с ИИ системы входят в повседневную жизнь, пусть это не всегда заметно. Большой шаг вперед, как и предсказывалось, совершили системы, связанные с распознаванием лиц. Помощники типа Алексы от Amazon или Сири от Apple теперь распознают не только что именно сказано, но и каким тоном сказано, какое эмоциональное и душевное состояние за этим стоит. Корпорации патентуют методы маркетинга, построенные на таких данных, и пытаются монетизировать эмоции.
При этом пользователь Алексы является для ИИ-индустрии одновременно потребителем, ресурсом, работником и продуктом. Он покупает потребительский продукт и пользуется им, но при этом его голосовые команды поступают в центр обработки данных Amazon, анализируются там и хранятся для пополнения базы человеческих голосов, эмоций и инструкций, которая потом используется в целях машинного обучения нейросетей. Потребители также постоянно оказывают компании бесплатные услуги по оценке качества ответов Алексы, их полезности и своевременности.
Amazon, Google и другие компании — разработчики ИИ вроде бы могут быть довольны: им в целом удалось достичь поставленных целей и начать получать выгоду.
Однако по итогам года стало понятно и то, что опасности, о которых предупреждали такие исследователи ИИ, как записанный в пессимисты Ник Бостром, проявили себя гораздо раньше, чем этого ожидали оптимисты.
ИИ сходит с ума?
В марте управляемый ИИ автономный автомобиль компании Uber не увидел на дороге женщину, и это закончилось летальным исходом. В том же месяце сотрудники Google выступили с беспрецедентным протестом против создания систем ИИ по заказам Пентагона для систем вооружений. В мае система распознавания голоса, предназначенная разоблачать злоупотребления при подаче заявлений на иммиграцию в Великобританию, «сошла с ума», аннулировала тысячи виз и приняла решения о высылке из страны сотен людей. Цифровой помощник IBM Watson рекомендовал людям, больным раком, неправильные и небезопасные для здоровья препараты, а алгоритм, разработанный для иммиграционной и таможенной полиции США, стал выдавать одну-единственную рекомендацию для всех без исключения иммигрантов: задержать.
Некоторые из ключевых болевых точек, проявившихся в ходе развития индустрии, были сформулированы в докладе нью-йоркского института AI Now, который вышел в декабре уходящего года. Институт занимается междисциплинарным изучением вопросов, связанных с воздействием ИИ на общество, и играет весьма важную роль в формировании повестки дня американской администрации. Так, в 2016 году соосновательница института Кейт Кроуфорд, в прошлом ведущий исследователь Microsoft, организовала под эгидой Белого дома встречу ключевых игроков индустрии, по итогам которой подготовила основные тезисы доклада Совета по технологиям при администрации Барака Обамы «Готовясь к будущему ИИ», вышедшего перед самыми выборами 2016 года. Сейчас Кроуфорд — председатель сети экспертов, которая готовит мероприятия Всемирного экономического форума в Давосе на тему ИИ и интернета вещей.
Вопрос уже в том, есть ли опасность в ИИ-технологиях, говорится в докладе AI Now. В том, какие меры уже сейчас нужно принимать правительствам, обществу, бизнесу, чтобы избежать развития событий по самым худшим сценариям. Проблема особенно насущна, учитывая масштаб систем на базе ИИ: возникнув, они немедленно становятся глобальными, подстраивая под себя общество по принципу, выраженному Маршаллом Маклюэном: «Мы придаем форму нашим инструментам, а потом наши инструменты придают форму нам».
Распознавание мыслепреступлений
В этом году пресса много писала о методах, применяемых китайскими властями в провинции Синцзянь, где система распознавания лиц применяется для выявления потенциальных «террористов», которые потом изолируются от общества на основании одних лишь подозрений согласно заданным параметрам «групп риска». Меньше известно о схожих практиках, хотя, конечно, не такого масштаба, в США. Так, полиция города Орландо во Флориде стала применять систему распознавания лиц, разработанную Amazon, чтобы остановить рост уличного насилия. Как и в Китае, система, которая позволяет идентифицировать до 100 лиц в одном кадре, работает вместе с сетью камер наблюдения. Amazon разработал для полиции мобильное приложение, пользуясь которым можно сканировать лица и устанавливать сходство с фотографиями из базы данных полиции.
При этом технологии распознавания лиц все больше сочетаются с системами «распознавания аффекта». Разработчики этих систем утверждают, что по видеозаписи или фото лица человека можно определить тип его личности, чувства внутри него, даже скрытые, его душевное здоровье, можно прочесть его намерения — в частности, намерение совершить преступление. Более того, исследователи из Стэнфордского университета утверждают, что нейронные сети, анализируя выражение лица, могут указывать на тип сексуального поведения человека, в частности, является ли он гомосексуалом.
«Распознавание аффекта» — очень удобный инструмент, который может применяться не только в полицейских мероприятиях или в мониторинге аэропортов и вокзалов, но и при найме людей на работу, приеме в вузы. Человеку может быть отказано в страховке, в работе, в кредите буквально на том основании, что он или она «не вышла лицом».
Многие ученые, не согласные с подобными выводами, бьют тревогу. Ведь физиогномика и френология, которые лежат в основе подобных проверок, среди серьезных ученых считаются лженауками, которые, ко всему прочему, активно использовались в бесчеловечных практиках Третьего рейха. Но проект полиции Орландо был закрыт не из-за френологии.
Когда о нем узнали сотрудники влиятельной некоммерческой организации «Американский союз гражданских свобод» (UCLA), они привлекли к тестированию исследователей из Университета Калифорнии в Беркли. Те ввели в систему фотографии действующих членов Сената США и сравнили их с полицейской базой данных арестованных лиц. Приложение Amazon в итоге установило, что лица 28 сенаторов идентичны лицам преступников из базы, к тому же большинство сенаторов, идентифицированных таким образом, оказались цветными. Вышел скандал, полиция Орландо от ИИ-практики отказалась, хотя в Amazon заявили, что проблема не в принципе работы системы, а лишь в неполноте собранных данных.
Вероятно, эта осечка не слишком затормозит процесс — так, недавно сообщалось, что IBM и полиция Нью-Йорка разработали систему на базе ИИ, которая позволяет включить поиск по «этничности» подозреваемого, то есть все та же френология в действии.
Тем временем системы распознавания лиц с функцией «распознавания аффекта» активно берет на вооружение частный сектор; например, крупные американские торговые сети уже используют их, чтобы определять потенциальных воров и сканировать лица покупателей для выявления отрицательных эмоций.
Сообщалось и о мониторинге лиц студентов в Университете Миннесоты: по выражениям лиц во время занятий ИИ делал выводы, насколько интересен предмет, что должно было влиять на зарплату преподавателя и его аккредитацию. Впрочем, после огласки в прессе университет прекратил практику и стал отрицать сам ее факт — вероятно, из опасений исков со стороны правозащитных организаций.
Три проблемы, рожденные искусственным интеллектом
- Усугубление неравенства между теми, кто владеет, и теми, кто не владеет технологиями ИИ
- Непрозрачность алгоритма, эффект «черного ящика»
- Критичность ошибок для тех, кто становится их жертвой
Решение черного ящика
В 2018 году президент Дональд Трамп распорядился резко сократить выплаты по многим социальным программам, затрагивающим интересы наименее обеспеченных слоев населения. Оптимизируя бюджеты, государства по всему миру внедряют автоматизированные системы принятия решений, при этом у тех, кого эти решения непосредственно касаются, нет реальных возможностей их изменить или даже оспорить.
Например, ИИ анализирует данные малообеспеченного инвалида и решает, сколько часов бесплатного ухода в неделю ему полагается от государства. Если ИИ решил отказать или назначил меньше часов, чем было раньше, больному просто некуда обратиться: ему говорят, что решение, принятое «черным ящиком», невозможно изменить. Более того, чиновники не могут даже объяснить принятое решение — примерно как сотрудник банка может лишь гадать, почему система не выдала потребителю кредит. Во всем мире сегодня намечается переход от решений, принимаемых людьми, к решениям на базе непрозрачных алгоритмов. При этом у людей, которых это непосредственно затрагивает, практически нет средств контроля за государственными органами, не говоря уже о частных компаниях. «Черные ящики» устройств, где обработка данных осуществляется в наднациональном облаке, недоступны для того, чтобы опротестовать эти решения или изменить их.
Эффективность систем автоматического принятия решений в вопросе помощи инвалидам или неимущим никем не доказана, хотя бюджеты на социальные нужды они, конечно, будут экономить — перекладывая при этом ответственность за результаты с людей-чиновников на безответные машины. Личные и конституционные права, которые люди отстаивали на протяжении веков борьбы за социально ответственное государство, при этом вряд ли окажутся в фокусе внимания чиновников и крупного бизнеса, заинтересованного в быстрейшем продвижении технологий.
Большим препятствием к защите прав в подобных случаях служит то, что необходимая юристам информация о том, как собираются, обрабатываются и используются данные, защищена как законами о коммерческой тайне, так и практикой аутсорсинга, когда для проведения сомнительных с точки зрения закона работ и исследований нанимаются сторонние контракторы. Так, Facebook (соцсеть признана в РФ экстремистской и запрещена) отрабатывает свои алгоритмы, передавая данные фирмам типа Cambridge Analytica, которая получила подробные профили 80 млн пользователей и использовала их в бизнесе политического маркетинга. Если бы дело Cambridge Analytica не затронуло интересы влиятельных политических кругов США, Facebook (соцсеть признана в РФ экстремистской и запрещена) продолжал бы получать от подобных фирм важные данные, которые позволяют серьезно влиять на политические процессы в странах «первого мира».
Углубление неравенства
Системы на базе ИИ уже сейчас углубляют неравенство между немногими, кто ими владеет, и теми, кто становится подопытными кроликами для новых технологий, не осознавая этого. Те, кто получает от ИИ прибыль, заинтересованы в том, чтобы ускорять развитие и внедрение этих систем, не обращая внимание на их явную и скрытую цену для рынка труда, общества, окружающей среды. У тех же, на ком тестируются эти системы, нет денег и влияния, чтобы отстоять свои права.
Конечно, юристы и правозащитники в США уже берутся за подобные дела, при этом главный аргумент, который используется, — защита конституционных прав важнее возможного нарушения права интеллектуальной собственности. Но даже в США такой подход наталкивается на глубоко эшелонированную защиту компаний вроде Google или Amazon, на стороне которых во многих случаях стоит правительство, заинтересованное в быстрейшем развитии индустрии ИИ.
Смертельное ДТП с участием автомобиля-беспилотника компании Uber произошло в пригороде Феникса, штат Аризона, где власти разрешили тестирование на обычных дорогах полностью автономных машин без сопровождения водителей. Несмотря на то что в Uber намеренно отключили систему автоматического торможения, виновным сочли не компанию, а человека, который занимался уходом за автомобилем. За год до этого погиб второй водитель в аварии с участием автономного автомобиля Tesla. Этот случай тоже не привел к каким-либо последствиям для компании, виновным был сочтен не управляющий машиной «черный ящик», а человек.
Власти Феникса, очевидно, были привлечены обещаниями инвестиций. Хотя Uber после той аварии испытания прекратил, компания Waymo, принадлежащая Google, объявила о запуске новой программы тестирования автономных автомобилей в том же Фениксе. А 18 декабря Uber получил добро на возобновление испытаний в штате Пенсильвания.
Элита слушает площадь
В 1673 году ученый-иезуит Атанасиус Кирхер изобрел «говорящую статую». В сущности, это был первый микрофон, сделанный на основе гигантской спиральной трубы, которая передавала разговоры с городской площади, и те звучали словно бы изо рта статуи, расположенной в частных покоях иезуита. Это была, возможно, первая система массовой прослушки, которая вскоре стала появляться в дворцах других итальянских олигархов XVII века. Люди на площади, конечно, не знали, что их разговоры передаются во дворцы власть имущих и используются когда ради власти, когда для обогащения, а когда и для развлечения. Целью изобретения была не только позволить элите получать эксклюзивную информацию и через нее управлять умами, но и скрыть процесс ее получения: те, кто был не в теме, могли видеть лишь изящную статую.
С тех пор изменилось удивительно мало, разве что широкомасштабная слежка за населением с применением ИИ давно перешла границы отдельных стран и стала глобальным явлением. Об этом свидетельствуют прежде всего бурный рост рынка сенсорных сетей, контролируемый компаниями из Швейцарии и США (на 14% в год; к 2020 году ожидается, что число установленных устройств достигнет 50 млн). По всему миру каждый год устанавливаются также сотни миллионов умных камер наблюдения, этот рынок растет на 16% в год и достигнет объема 800 млн долларов к 2022 году). Промышленные масштабы приняло отслеживание социальных сетей и, конечно, внедрение технологий распознавания лиц и эмоций. ИИ автоматизировал слежку, сделав ее охват практически тотальным, и тем самым ускорил процесс утраты одной из основ современной западной цивилизации — неприкосновенности частной жизни.
ИИ-технологии, которыми пользуются государства по всему миру, подталкивают их к внедрению систем тотальной слежки и контроля за гражданами, которые слишком удобны, чтобы от них отказаться. Когда французский журналист спросил Барака Обаму, почему США прослушивают иностранных лидеров, тот ответил в том духе, что мы делаем это, потому что мы можем.
Сознание новых возможностей пьянит политиков и лидеров бизнеса, открывая путь к еще большей централизации власти и концентрации ресурсов планеты в руках немногих.
Новая Великая депрессия?
СМИ стараются приуменьшить влияние технологий, связанных с роботизацией и ИИ, на рынок труда, но несколько простых цифр дают представление о мотивации внедрения подобных технологий для бизнеса. Час труда промышленного рабочего в Германии стоит 49 долларов, в США —36 долларов, в то время как час работы робота, согласно недавнему исследованию компании Bain, обходится всего в четыре доллара (во многих развивающихся странах стоимость труда еще ниже).
По оценкам исследования консалтинговой компании Bain «Рынок труда в 2030 году: столкновение демографии, автоматизации и неравенства», внедрение роботов и ИИ приведет к тому, что каждый год два с половиной миллиона американцев будут пополнять число безработных. Для сравнения: в начале ХХ века, во время кризиса, связанного с переходом от сельскохозяйственного уклада к индустриальному, этот показатель был вдвое меньше. Опрос социологического центра Pew выявил: в то время как большинство американцев уверены, что еще при жизни нынешнего поколения роботы полностью заменят работников индустрии быстрого питания и страховщиков, лишь 30% считают, что перемены коснутся лично их. Это не должно успокаивать, говорится в докладе AI Now: ведь когда избиратели и политики поймут масштаб происходящего, их реакция может быть непредсказуемой.
ИИ на страже предвзятости
При приеме на работу ИИ, натренированный при помощи машинного обучения, будет чаще склоняться к «проверенным» решениям и тем самым усиливать предвзятость, проявленную в прошлом. При этом наниматься будут не лучшие сотрудники, отражающие все разнообразие кандидатов, а похожие на тех, кто уже был нанят в прошлом.
Многие считают, что сложные алгоритмы будут следовать тому, что им предписали создатели, и тем самым проявлять предвзятость только в тех случаях, когда они на нее попросту запрограммированы. Но на практике даже непредвзятые разработчики с самыми лучшими намерениями могут создавать предвзятые системы просто потому, что даже они могут не понимать, как будет функционировать созданный ими ИИ.
Алгоритмы, разработанные для больших однородных групп населения, например для белых американцев, могут сильно отличаться от соответствующих алгоритмов для меньшинств, да и данных по меньшинствам у ИИ будет по определению гораздо меньше. Это может привести к ошибкам ИИ, которому, допустим, поручено отделить реальные имена в соцсети от фейковых. В итоге «забаненными» могут оказаться реальные люди, в то время как фейковые аккаунты будут продолжать работать.
Исследователь машинного обучения Мориц Хардт предлагает минимизировать риски путем выписывания всех возможных ошибок, которые могут случиться, занесения их в программу и интенсивного прогона специализированных тестов по каждой из них с целью их полного исключения. Но может ли сам ИИ составить такой список? Скорее всего, на нынешнем этапе развития ИИ — нет. Таким образом, ошибки будут неизбежно случаться, только вот исправить ошибку, связанную с предвзятостью суждения ИИ, будет очень трудно, если вообще возможно.
Некоторые разработчики предлагают создать для ИИ мотивацию, вознаграждая его за работу без ошибок. Но не придумает ли он тогда способ, чтобы получить вознаграждение наверняка? Например, если награждать робота-уборщика за отсутствие мусора, он может просто отключить камеру, чтобы не передавать изображение мусора, или накрыть мусор чем-то непрозрачным, или просто спрятаться от хозяев. Как поступит ИИ? Мы попросту не знаем.
Сопутствующий ущерб
Кремниевая долина известна своей культурой «двигаться быстро и разбивать привычное». В гонке за первенством стартапы меньше всего обращают внимание на «сопутствующий ущерб» и риски для общества. Поэтому происходит ничем не сдерживаемое тестирование нейросетей и систем ИИ на ничего не подозревающем населении.
Крупные компании кровно заинтересованы в сборе всевозможных данных, поэтому возникли платформы типа Tensorflow, использующие открытые программные библиотеки для машинного обучения, с помощью которых любой может сконструировать свой собственный ИИ и заниматься машинным обучением. Но в случае, если что-то пойдет не так, совершенно непонятно, кто несет за это ответственность.
По мнению Кейт Кроуфорд, нерешаемые пока проблемы справедливости, предвзятости и дискриминации технологических решений на основе ИИ должны стать жестким ограничителем для их широкого применения. Но совпадает ли этот подход с позицией нынешней администрации США?
«Мы не будем себя ограничивать»
В мае 2018 года Белый дом организовал встречу около ста высших чиновников, ведущих экспертов, ученых и лидеров бизнеса в области ИИ. По итогам встречи был опубликован доклад, где, в отличие от документа, разработанного двумя годами ранее для администрации Барака Обамы, практически не осталось упоминаний об этических проблемах и болевых точках, связанных с воздействием ИИ на общество. Не говорилось и о международном сотрудничестве в решении этих проблем, более того, подчеркивалось, что «мы не будем ограничивать себя международными обязательствами, укорененными в страхе перед самыми худшими сценариями».
Документ отбрасывает эти пункты как ненужные и сосредотачивается на создании максимально широких возможностей для возможно более быстрого достижения США первенства в ИИ-технологиях. Для этого, в лучших традициях Республиканской партии, предлагается не усилить, как предлагает институт AI Now, а наоборот, ослабить регулирование. Объясняется это так: «Чересчур обременительное регулирование не останавливает инновации — оно просто переносит их за пределы страны».
Регулирование при Трампе действительно ослабили. Так, в сентябре 2017 года Министерство транспорта США обнародовало руководство по обеспечению возможностей для беспилотных автомобилей использовать дороги страны, сняв существовавшие ранее ограничения. В октябре 2018 года Трамп выпустил президентский меморандум, по которому штаты и местные органы власти могут теперь разрешать полеты дронов, до тех пор запрещенные Федеральным агентством по авиации.
На первый план в документах администрации Трампа выходит военное применение ИИ и привлечение компаний из этой сферы к работе на военное ведомство. Согласно Национальной оборонной стратегии США 2018 года, Пентагон «широко инвестирует в военные применения автономных машин, искусственного интеллекта и машинного обучения, включая быстрое применение успешных коммерческих образцов, в целях получения конкурентных военных преимуществ».
«Искусственный интеллект содержит огромный потенциал, выгоду от которого может получить американский народ, и уже продемонстрировал свою огромную ценность в укреплении нашей национальной безопасности и росте нашей экономики, — говорится в докладе. — Наш рыночный подход к научным открытиям ставит на службу объединенные силы правительства, индустрии и академических кругов и дает нам уникальную возможность через эту технологию влиять на улучшение жизни нашего великого народа… В Америке не только больше ИИ-стартапов, чем в любой другой стране, — вдвое больше, чем у нашего ближайшего соперника, но американские стартапы самые многообещающие, они занимают три четверти списка ста ведущих мировых стартапов».
В декабре 2018 года Совет по технологиям при президенте США объявил пятилетний план улучшения математического и технического образования в стране. Федеральное правительство выделяет на эти цели 200 млн долларов, еще 300 млн дает частный бизнес.
В 2018 году появились многочисленные манифесты и перечни этических принципов, которые должны соблюдаться компаниями, разрабатывающими ИИ, но они не оказали никакого влияния на индустрию, ведь компаниям ничего не будет за их несоблюдение. Этика в сфере ИИ будет иметь эффект только в том случае, если ее напрямую встроят в процесс разработки, и разработчики будут напрямую отвечать за несоблюдение этических принципов, говорится в докладе института AI Now. Но едва ли эти рекомендации будут учтены в планах администрации Трампа.
Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl