Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кофе и нейросети: какую роль играет ИИ в привлечении зумеров при кадровом дефиците Кофе и нейросети: какую роль играет ИИ в привлечении зумеров при кадровом дефиците

Как в борьбе за таланты генеративный ИИ становится ключевым инструментом

Forbes
Отдых налегке: лучшие лайфхаки для комфортного путешествия с ручной кладью Отдых налегке: лучшие лайфхаки для комфортного путешествия с ручной кладью

Топ советов, как организовать свое путешествие с ручной кладью

ТехИнсайдер
«История Земли в 25 камнях: Геологические тайны и люди, их разгадавшие» «История Земли в 25 камнях: Геологические тайны и люди, их разгадавшие»

Кто разрешил спор о природе лавы

N+1
Икона скама: что происходит в бренде ÖMANKÖ и почему его покинул Артем Ермилов Икона скама: что происходит в бренде ÖMANKÖ и почему его покинул Артем Ермилов

Разбираемся, что происходит с популярным сообществом ÖMANKÖ

Правила жизни
7 законов психологии, которые изменят твою жизнь: что о них нужно знать и как ими пользоваться 7 законов психологии, которые изменят твою жизнь: что о них нужно знать и как ими пользоваться

Что такое законы психологии и как правильно их применять

VOICE
Зарядка для сердца. Чем заниматься и как тренироваться, чтобы «прокачать» главную мышцу Зарядка для сердца. Чем заниматься и как тренироваться, чтобы «прокачать» главную мышцу

Не все виды нагрузок подойдут для сердечно-сосудистой системы

Лиза
Развитие на уровне мемов: российский бизнес — о настоящем и будущем нейросетей Развитие на уровне мемов: российский бизнес — о настоящем и будущем нейросетей

Как искусственный интеллект изменит рынок труда и кто лишится работы?

Forbes
Здоровье от природы Здоровье от природы

7 эффективных природных антибиотиков

Лиза
Внутренний туризм Внутренний туризм

Петербург — не только гастрономическая, но и туристическая столица России!

Собака.ru
13 самых популярных вопросов про кондиционеры: проверьте свои знания 13 самых популярных вопросов про кондиционеры: проверьте свои знания

Кондиционеры: все, о чем вы не знали, у кого спросить

CHIP
«Арабская Симона де Бовуар»: как Наваль эль-Саадави боролась за права женщин в Египте «Арабская Симона де Бовуар»: как Наваль эль-Саадави боролась за права женщин в Египте

Наваль эль-Саадави пожертвовала карьерой врача ради борьбы за права женщин

Forbes
Все что нужно знать об искусственном интеллекте! Ликбез и главные факты Все что нужно знать об искусственном интеллекте! Ликбез и главные факты

Главные факты об искусственном интеллекте

ТехИнсайдер
Король рок-н-ролла и стиля: 5 знаковых образов Элвиса Пресли Король рок-н-ролла и стиля: 5 знаковых образов Элвиса Пресли

Кружева, золото, кожа и блестки — вспоминаем, что носил Элвис Пресли

Правила жизни
Правила жизни Джорджо Армани Правила жизни Джорджо Армани

Правила жизни итальянского модельера Джорджо Армани

Правила жизни
Смерть им к лицу: каково это — побывать на спиритическом сеансе начала XX века Смерть им к лицу: каково это — побывать на спиритическом сеансе начала XX века

Чем жителей Питера так манил сверхъестественный мир?

Правила жизни
Директор Музеев Московского Кремля о новом здании, туристах и отношениях с властью Директор Музеев Московского Кремля о новом здании, туристах и отношениях с властью

Почему музейное оборудование невозможно импортозаместить

Forbes
«Бывшие зеки никому не нужны»: зачем Ozon нанимает на работу людей с судимостью «Бывшие зеки никому не нужны»: зачем Ozon нанимает на работу людей с судимостью

Зачем был создан и как работает проект «Ozon без осуждения»

Forbes
5 причин заниматься пилатесом в любом возрасте 5 причин заниматься пилатесом в любом возрасте

Какие бонусы для здоровья пилатес дает в разном возрасте?

Правила жизни
Снимите это немедленно! 5 историй людей, у которых изменилась жизнь после разбора гардероба со стилистом Снимите это немедленно! 5 историй людей, у которых изменилась жизнь после разбора гардероба со стилистом

Разбор гардероба со стилистом – ну разве не мечта?

Лиза
Почему выпадают Почему выпадают

Почему могут сыпаться свои ресницы и что с этим делать

VOICE
«Мы были выше бога, который сотворил нас». Отрывок из книги об Адаме и Еве «Мы были выше бога, который сотворил нас». Отрывок из книги об Адаме и Еве

«Взлет и падение Адама и Евы»: отрывок из книги Стивена Гринблатта

СНОБ
Астрономы используют дипфейки, созданные ИИ, для исследования солнечной атмосферы Астрономы используют дипфейки, созданные ИИ, для исследования солнечной атмосферы

Как созданные ИИ изображения помогают исследовать корональный солнечный дождь

ТехИнсайдер
Древнеегипетские художники изобразили царя не в том ожерелье. Но осознали и исправили ошибку Древнеегипетские художники изобразили царя не в том ожерелье. Но осознали и исправили ошибку

Ученые нашли следы корректировок при изучении росписей в египетских гробницах

N+1
От линейной к циклической: альтернативная модель развития экономики | Linear to Circular: an Alternative Model of Economic Development От линейной к циклической: альтернативная модель развития экономики | Linear to Circular: an Alternative Model of Economic Development

Циклическая экономика может стать альтернативой устаревшей экономической модели

Позитивные изменения
7 вещей, которые нельзя делать перед наращиванием ресниц: ты о них пожалеешь! 7 вещей, которые нельзя делать перед наращиванием ресниц: ты о них пожалеешь!

О чем нужно помнить перед наращиванием ресниц?

VOICE
До самых до окраин До самых до окраин

4 интересных автомобильных маршрута для яркого и незабываемого отпуска

Лиза
Почему наводнения происходят все чаще: эпоха великих катастроф Почему наводнения происходят все чаще: эпоха великих катастроф

Почему природные катаклизмы стали посещать нас с завидной регулярностью?

Maxim
«Все заменить невозможно»: дефицит каких ветеринарных препаратов ожидает Россию «Все заменить невозможно»: дефицит каких ветеринарных препаратов ожидает Россию

На рынке препаратов для домашних животных ситуация действительно напряженная

Forbes
Как правильно ссориться: 6 универсальных советов — выводы психолога Как правильно ссориться: 6 универсальных советов — выводы психолога

Приемы, которые помогут продвигаться во время споров в правильном направлении

Psychologies
«В 90% случаев его можно предотвратить»: как в России работают с проблемой инсультов «В 90% случаев его можно предотвратить»: как в России работают с проблемой инсультов

Директор Фонда борьбы с инсультом: почему главный враг инсульта — время

Forbes
Открыть в приложении