Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Признание и обвинение: почему общество не верит рассказам женщин о пережитом насилии Признание и обвинение: почему общество не верит рассказам женщин о пережитом насилии

Как общество относится к рассказам женщин о травматичном опыте?

Forbes
Ягоды и грибы: где и как правильно собирать. Советы эксперта Ягоды и грибы: где и как правильно собирать. Советы эксперта

Где и когда искать грибы и ягоды, что взять с собой и как одеться

РБК
«Астероиды: рожденные пламенем» «Астероиды: рожденные пламенем»

Как ученые научились анализировать состав астероидов

N+1
Не проходите мимо арахисовой пасты! Узнайте интересные факты о пользе продукта Не проходите мимо арахисовой пасты! Узнайте интересные факты о пользе продукта

Паста из арахиса богата белком, минералами и витаминами

ТехИнсайдер
Я вижу, о чем вы думаете Я вижу, о чем вы думаете

Как агенты ФБР читают людей

kiozk originals
Фокус на джунов: почему в компаниях растет спрос на молодых специалистов Фокус на джунов: почему в компаниях растет спрос на молодых специалистов

На фоне кадрового голода бизнес стал чаще нанимать вчерашних выпускников

Forbes
Не только банкинг: как крупный российский ретейлер дружит с IT и решает нетривиальные задачи посредством технологий Не только банкинг: как крупный российский ретейлер дружит с IT и решает нетривиальные задачи посредством технологий

Как именно ретейлеры используют IT-технологии для решения сложных бизнес-задач

Inc.
Физические нагрузки не улучшили когнитивный статус у пожилых с коротким сном Физические нагрузки не улучшили когнитивный статус у пожилых с коротким сном

Как связаны сон, физическая активность и когнитивный статус у пожилых людей?

N+1
Режимы посудомоечной машины: какими они бывают и чем отличаются Режимы посудомоечной машины: какими они бывают и чем отличаются

В каких случаях нужен интенсивный режим посудомойки и что экономит экономичный?

CHIP
Отец «червя», профессор, бизнесмен: история Роберта Тэппэна Морриса — студента, который изменил интернет Отец «червя», профессор, бизнесмен: история Роберта Тэппэна Морриса — студента, который изменил интернет

Вспоминаем историю человека, который  случайно «взломал» интернет

Правила жизни
Как холдинг бывшего участника списка Forbes простил ему 26 млрд рублей долга Как холдинг бывшего участника списка Forbes простил ему 26 млрд рублей долга

Как выдавались займы и прощались долги в УСМК

Forbes
5 главных книг о Владимире Набокове, которые помогут лучше его понять 5 главных книг о Владимире Набокове, которые помогут лучше его понять

Пять главных книг, которые можно прочитать о Набокове

Правила жизни
7 самых безжалостных авторов фэнтези 7 самых безжалостных авторов фэнтези

Писатели, которые уже составили себе славу кровожадных мучителей своих героев

Maxim
Дорого и сердито: почему мясо из пробирки вряд ли станет массовым продуктом Дорого и сердито: почему мясо из пробирки вряд ли станет массовым продуктом

Почему производство и потребление мяса из пробирки не станет массовым?

Forbes
Цветы в постель Цветы в постель

Подозреваешь, что твой мужчина — нарцисс?

VOICE
Телефонная зависимость: что такое фаббинг и как с ним справиться Телефонная зависимость: что такое фаббинг и как с ним справиться

Как распознать у себя фаббинг и как от него избавиться

Правила жизни
Мимикрия: 15 примеров животных, которые скрывают свою истинную сущность Мимикрия: 15 примеров животных, которые скрывают свою истинную сущность

Козырём в рукаве можно назвать мимикрию — способность маскироваться

ТехИнсайдер
7 лайфхаков, чтобы не отравиться грибами 7 лайфхаков, чтобы не отравиться грибами

Правила, которые помогут после ужина с грибами не отправиться в больницу

Maxim
Пустые холсты, душевные раны и винил. Отрывок из романа «Все, что мы обрели» Элис Келлен Пустые холсты, душевные раны и винил. Отрывок из романа «Все, что мы обрели» Элис Келлен

Глава из книги «Все, что мы обрели»

СНОБ
Свиньи помогли сородичам выбраться из заточения Свиньи помогли сородичам выбраться из заточения

Почему свиньи помогают друг другу?

N+1
Как расти в Дубае: правда и мифы о бизнесе в Эмиратах Как расти в Дубае: правда и мифы о бизнесе в Эмиратах

Какие представления о бизнесе в Дубае оказываются правдой, а какие мифом

Правила жизни
Обет умолчания Обет умолчания

Отчуждение, потерянность и предательство в «московском цикле» Юрия Трифонова

Weekend
Почему Мадонна оказалась в реанимации: 6 факторов Почему Мадонна оказалась в реанимации: 6 факторов

Как излишне активный образ жизни и перфекционизм разрушают нас?

Psychologies
Ученые прочитали белки парантропа — древнего родственника человека, которому 2 миллиона лет Ученые прочитали белки парантропа — древнего родственника человека, которому 2 миллиона лет

Древние белки раскрывают историю человечества

ТехИнсайдер
«Я хотел показать, как общество может довести человека до безумия» «Я хотел показать, как общество может довести человека до безумия»

Стэнли Кубрик о том, как легко сойти с ума

Weekend
Птицы построили гнезда из противоптичьих шипов Птицы построили гнезда из противоптичьих шипов

Необычный материал для гнезд использовали сороки и черные вороны

N+1
ФНС разъяснила порядок автоматических списаний налогов с граждан ФНС разъяснила порядок автоматических списаний налогов с граждан

ФНС реализует новый механизм — «проактивный порядок уплаты налогов»

Forbes
Каменные глаза трилобитов: удивительная загадка доисторических времен Каменные глаза трилобитов: удивительная загадка доисторических времен

Природа применила безграничную фантазию, создавая системы зрения трилобитов

ТехИнсайдер
Принцесса и драконы: 7 теорий заговора вокруг гибели Дианы Спенсер Принцесса и драконы: 7 теорий заговора вокруг гибели Дианы Спенсер

Конспирологические теории смерти Дианы Спенсер

Правила жизни
«Динозавры России: Прошлое, настоящее, будущее» «Динозавры России: Прошлое, настоящее, будущее»

Книга о русских динозаврах и о тех, кто их изучает

N+1
Открыть в приложении