Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Сила инерции: как выживает крупнейшая торговая сеть в стране Сила инерции: как выживает крупнейшая торговая сеть в стране

Как кооператоры пытались создавать коалиции с крупными ретейлерами?

Forbes
Как презрение разрушает отношения: 7 шагов, чтобы предотвратить развод Как презрение разрушает отношения: 7 шагов, чтобы предотвратить развод

Проявление неуважения  — самый серьезный предвестник развода

Psychologies
Салман Рушди: «Нож». Отрывок из новой книги писателя Салман Рушди: «Нож». Отрывок из новой книги писателя

Генетика против рака: как клеточная инженерия спасла жизнь Эмили Уайтхед

СНОБ
Any Wowzers Any Wowzers

Как Аня Баркова придумала бренд пижам c пляжным уклоном Any Wowzers

Собака.ru
Как быстро возбудить девушку: 12 способов (гид, который стоит держать под рукой) Как быстро возбудить девушку: 12 способов (гид, который стоит держать под рукой)

Не знаете, как быстро возбудить девушку до предела? Вы по адресу!

Playboy
Пыльцевые отпечатки истории Пыльцевые отпечатки истории

Палинологический анализ — мощный инструмент в руках реконструкторов

Наука и жизнь
Рак щитовидной железы: как не допустить развития болезни — 6 главных правил Рак щитовидной железы: как не допустить развития болезни — 6 главных правил

Как выявить «тихий рак» щитовидной железы на ранней стадии болезни?

Psychologies
«Делирий», глава из бестселлера британского нейробиолога Анила Сета «Быть собой: Новая теория сознания» «Делирий», глава из бестселлера британского нейробиолога Анила Сета «Быть собой: Новая теория сознания»

Профессор нейробиологии Анил Сет приоткрывает окно внутрь нашего сознания

Правила жизни
Люди с протезами почувствовали температуру с помощью тонкопленочного охладителя Люди с протезами почувствовали температуру с помощью тонкопленочного охладителя

Охладитель, с помощью которого люди с протезами могут чувствовать температуру

N+1
Круглые, миндаль или щелки: как подобрать эффектный макияж по форме глаз — лайфхаки от эксперта Круглые, миндаль или щелки: как подобрать эффектный макияж по форме глаз — лайфхаки от эксперта

Форма глаз — аспект, на который стоит обращать внимание при выборе макияжа

VOICE
Операция «Ы» и другие приключения шерифа Операция «Ы» и другие приключения шерифа

«Мэгги Мур(ы)»: криминальная комедия с Джоном Хэммом

Weekend
«Муж на первом месте»: Михаил Галустян объяснил, почему запретил работать русской жене «Муж на первом месте»: Михаил Галустян объяснил, почему запретил работать русской жене

Михаил Галустян объяснил, почему его супруга не должна работать

VOICE
Тяжелое утро? Вот как отключить мысли и засыпать спокойно: совет эксперта Тяжелое утро? Вот как отключить мысли и засыпать спокойно: совет эксперта

Почему наш разум становится чрезмерно активным ночью?

ТехИнсайдер
К китам и оленям: как в России растет спрос на приключенческий туризм К китам и оленям: как в России растет спрос на приключенческий туризм

Приключенческий туризм, который раньше был незаметен, выходит в массовый сегмент

Forbes
Сексуальная отзывчивость: что это такое и как влияет на отношения — улучшите взаимопонимание Сексуальная отзывчивость: что это такое и как влияет на отношения — улучшите взаимопонимание

Внимательность, заботливость партнера помогают поддерживать психическое здоровье

Psychologies
Как в XVIII веке сторонники всеобщих прав обнаружили, что женщина тоже человек Как в XVIII веке сторонники всеобщих прав обнаружили, что женщина тоже человек

Отрывок из книги Линн Хант «Изобретение прав человека: история»

Forbes
Семеро по банкам. Чем вино в алюминии отличается от бутылочного Семеро по банкам. Чем вино в алюминии отличается от бутылочного

Чем вино в жестяной банке отличается от бутылочного?

СНОБ
Свиньи помогли сородичам выбраться из заточения Свиньи помогли сородичам выбраться из заточения

Почему свиньи помогают друг другу?

N+1
Мыслить иначе: 8 книг для развития неординарного мышления Мыслить иначе: 8 книг для развития неординарного мышления

Книги про то, как мыслить за пределами обыденности

ТехИнсайдер
Мама перепутает! 10 двойников звезд, которых не отличишь от оригинала Мама перепутает! 10 двойников звезд, которых не отличишь от оригинала

Некоторые охотно пользуются сходством со звездой

VOICE
История длинной в Twitter: 10 главных твитов в истории История длинной в Twitter: 10 главных твитов в истории

«Правила жизни» решили вспомнить великое прошлое — главные твиты в истории

Правила жизни
Митя Фомин: «Мечтаю полететь в космос!» Митя Фомин: «Мечтаю полететь в космос!»

«Все имеет свою цену. У успеха и признания, безусловно, есть обратная сторона»

Караван историй
Морозная свежесть антоновки: подробный гид по российскому сидру Морозная свежесть антоновки: подробный гид по российскому сидру

Из каких яблок делают сидры в России, зачем их пить из винных бокалов?

СНОБ
Опоздала на рейс, потеряла чемодан, дали плохой номер: как решить проблемы в отпуске Опоздала на рейс, потеряла чемодан, дали плохой номер: как решить проблемы в отпуске

Предвидим непредвиденные ситуации в отпуске

VOICE
Удивят, отвратят, напугают, просветят: 7 необычных книг для интеллектуалов Удивят, отвратят, напугают, просветят: 7 необычных книг для интеллектуалов

Тру-стори о лондонском приюте, мрачный артхаус о любви и притчи из Вавилона

ТехИнсайдер
Диуретик спиронолактон эффективно полечил акне у женщин Диуретик спиронолактон эффективно полечил акне у женщин

Диуретик спиронолактон эффективно снижает тяжесть акне у женщин

N+1
Первые успехи и неудачи: как ситуации из детства влияют на самооценку — наглядный пример Первые успехи и неудачи: как ситуации из детства влияют на самооценку — наглядный пример

Как научиться чаще замечать собственные успехи?

Psychologies
Деменция в семье: как справиться с переменами — 5 правил Деменция в семье: как справиться с переменами — 5 правил

Как выдержать испытание деменцией, где найти силы, чтобы жить дальше?

Psychologies
Жены известных людей, о которых никто ничего не знает Жены известных людей, о которых никто ничего не знает

Многие знаменитости женаты на обычных людях, не имеющих отношения к шоу-бизнесу

Maxim
Выбираем стиральную машину: на что смотреть, чтобы не потратить деньги зря Выбираем стиральную машину: на что смотреть, чтобы не потратить деньги зря

Не так просто выбрать лучшую стиральную машину по соотношению цены и качества

CHIP
Открыть в приложении