Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Дышать или не дышать: насколько эффективна дорогостоящая ксенонотерапия Дышать или не дышать: насколько эффективна дорогостоящая ксенонотерапия

Ксенонотерапия: что это за метод, безопасен ли он и насколько полезен в лечении?

Forbes
Мария Порошина: «Раньше ради съемок проводила по три ночи без сна. Потом поняла — здоровье дороже!» Мария Порошина: «Раньше ради съемок проводила по три ночи без сна. Потом поняла — здоровье дороже!»

«Когда дел так много, иногда ощущаю себя "мамой-осьминожкой"»

Караван историй
«Россия: страна, которая хочет быть другой. Двадцать пять лет — взгляд изнутри» «Россия: страна, которая хочет быть другой. Двадцать пять лет — взгляд изнутри»

Приватизация и либерализация цен изменила жизнь россиян

N+1
Не только банкинг: как крупный российский ретейлер дружит с IT и решает нетривиальные задачи посредством технологий Не только банкинг: как крупный российский ретейлер дружит с IT и решает нетривиальные задачи посредством технологий

Как именно ретейлеры используют IT-технологии для решения сложных бизнес-задач

Inc.
«Розовый. История цвета» «Розовый. История цвета»

Как розовый цвет получали в Средневековье

N+1
«Уинстон Черчилль: его эпоха, его преступления» «Уинстон Черчилль: его эпоха, его преступления»

Фрагмент книги «Уинстон Черчилль: его эпоха, его преступления»

N+1
Гранж, наркотики и Курт Кобейн: что нужно знать о Кортни Лав Гранж, наркотики и Курт Кобейн: что нужно знать о Кортни Лав

Многие до сих пор винят ее в смерти Курта

Правила жизни
Что чувствует человек во время панической атаки: от первого лица Что чувствует человек во время панической атаки: от первого лица

Отрывок из романа «Арктический клуб любителей карри»

Psychologies
Комиссарши в пыльных шлемах Комиссарши в пыльных шлемах

Прекрасные дамы, которые активно участвовали в революции

Дилетант
Результат на лицо Результат на лицо

5 ошибок в умывании, из-за которых кожа постареет быстрее

Лиза
«Мы были выше бога, который сотворил нас». Отрывок из книги об Адаме и Еве «Мы были выше бога, который сотворил нас». Отрывок из книги об Адаме и Еве

«Взлет и падение Адама и Евы»: отрывок из книги Стивена Гринблатта

СНОБ
Кроме чая и специй: зачем российскому предпринимателю Индия Кроме чая и специй: зачем российскому предпринимателю Индия

Что мешает нам строить свои фабрики в дружественной Индии?

Forbes
Трогательная история. Она потеряла слух после 60 лет, но нашла силы жить Трогательная история. Она потеряла слух после 60 лет, но нашла силы жить

Язык жестов и глухонемые коллеги показали женщине новый путь в жизни

ТехИнсайдер
Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос

Сериал «Медведь»: как поддержка и любовь близких могут повлиять на бизнес

Forbes
Орангутаны-мигранты позаимствовали пищевые привычки у местных Орангутаны-мигранты позаимствовали пищевые привычки у местных

У кого именно и как долго орангутаны-мигранты учатся есть новую для них пищу

N+1
«ПСЖ»: самый несчастный клуб на планете — один из самых богатых. Как деньги убивают амбициозный проект «ПСЖ»: самый несчастный клуб на планете — один из самых богатых. Как деньги убивают амбициозный проект

Что не так с «ПСЖ»

Maxim
Время красностопа. Винодел Франк Дюсенер — о будущем российского вина Время красностопа. Винодел Франк Дюсенер — о будущем российского вина

Винодел Франк Дюсенер — как изменились российские вина

СНОБ
Робот дышит и потеет. На нем ученые будут исследовать влияние жары на человека Робот дышит и потеет. На нем ученые будут исследовать влияние жары на человека

ANDI является полевой лабораторией, которая позволит оценить воздействие жары

ТехИнсайдер
Как понять, что вы — манипулятор? Как понять, что вы — манипулятор?

Разбираем, как распознать манипулятивное поведение в себе

Psychologies
Алмазный, стеклянный и каменный дожди: какие бывают осадки на других планетах Алмазный, стеклянный и каменный дожди: какие бывают осадки на других планетах

Состав дождя на других планетах может вас шокировать

ТехИнсайдер
Спустя 500 дней в приюте пес обрел семью. Трогательная история Спустя 500 дней в приюте пес обрел семью. Трогательная история

История пса Чарли, которого прозвали "самым одиноким в Британии"

ТехИнсайдер
Диана/Дарья Диана/Дарья

Самая ожидаемая премьера Сontext 2023 — спектакль «Дуо»

Собака.ru
Камеры начнут наказывать водителей за шум. Как будут штрафовать Камеры начнут наказывать водителей за шум. Как будут штрафовать

Штрафы за шумные машины и мотоциклы скоро должны появиться в КоАП

РБК
Король рок-н-ролла и стиля: 5 знаковых образов Элвиса Пресли Король рок-н-ролла и стиля: 5 знаковых образов Элвиса Пресли

Кружева, золото, кожа и блестки — вспоминаем, что носил Элвис Пресли

Правила жизни
Дом, который построил Герц Дом, который построил Герц

Архитектор Дэвид Герц готов перенести вас в удивительные дали

Robb Report
Говорим ли мы прозой? Говорим ли мы прозой?

Зачем нужен словарь для языка, которым мы пользуемся каждый день?

Наука и жизнь
Ответ на глобальные вызовы, или почему будущее за инвестициями в импакт-проекты | The Answer to Global Challenges: Why Investing in Impact Projects is the Future Ответ на глобальные вызовы, или почему будущее за инвестициями в импакт-проекты | The Answer to Global Challenges: Why Investing in Impact Projects is the Future

Глобальные вызовы требуют пересмотра стандартных практик и моделей в инвестициях

Позитивные изменения
Парадокс страсти: 15 признаков дисбаланса в отношениях — проверьте свою пару Парадокс страсти: 15 признаков дисбаланса в отношениях — проверьте свою пару

О признаках дисбаланса в отношениях, которые и приводят к парадоксу страсти

Psychologies
Похожий на цветок розы мягкий манипулятор поможет собрать урожай Похожий на цветок розы мягкий манипулятор поможет собрать урожай

Инженеры из Японии и Вьетнама разработали мягкий манипулятор ROSE

N+1
Люди услышали тишину Люди услышали тишину

Как именно люди воспринимают тишину?

N+1
Открыть в приложении