Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Умри, моя любовь»: хоррор с Дженнифер Лоуренс о сложном опыте материнства «Умри, моя любовь»: хоррор с Дженнифер Лоуренс о сложном опыте материнства

Как Линн Рэмси превращает сюжет, знакомый многим семьям, в мрачный хоррор

Forbes
Да здравствует король! Краткая история Cadillac Escalade Да здравствует король! Краткая история Cadillac Escalade

Cadillac Escalade: история длиной в двадцать лет

4x4 Club
Архитектура впечатлений. Отрывок из книги Архитектура впечатлений. Отрывок из книги

Отрывок из книги-путеводителя по миру музейного искусства

СНОБ
На пороге квантового превосходства На пороге квантового превосходства

Квантовые компьютеры: чем они отличаются об обычных и какие задачи выполняют?

Наука и жизнь
«Королева небес»: Что известно о самолете за $400 миллионов, который Катар подарил Трампу «Королева небес»: Что известно о самолете за $400 миллионов, который Катар подарил Трампу

Как Америке катарцы подарили самолет.

Maxim
Работа над ошибками Работа над ошибками

Попытки сэкономить в бьюти-индустрии оборачиваются неприятностями

Лиза
«Папа пробрался в шоу-бизнес лучше мамы»: дочь Глюкозы рассказала, кто помогает ей в карьере «Папа пробрался в шоу-бизнес лучше мамы»: дочь Глюкозы рассказала, кто помогает ей в карьере

16-летняя дочь Глюк’оZы пошла по ее стопам

VOICE
Почти два миллиарда человек пострадали от анемии в 2021 году Почти два миллиарда человек пострадали от анемии в 2021 году

В 2021 году распространенность анемии среди людей всех возрастов составила 24,3%

N+1
Каменные глаза трилобитов: удивительная загадка доисторических времен Каменные глаза трилобитов: удивительная загадка доисторических времен

Природа применила безграничную фантазию, создавая системы зрения трилобитов

ТехИнсайдер
Ученые прочитали белки парантропа — древнего родственника человека, которому 2 миллиона лет Ученые прочитали белки парантропа — древнего родственника человека, которому 2 миллиона лет

Древние белки раскрывают историю человечества

ТехИнсайдер
«Муж на первом месте»: Михаил Галустян объяснил, почему запретил работать русской жене «Муж на первом месте»: Михаил Галустян объяснил, почему запретил работать русской жене

Михаил Галустян объяснил, почему его супруга не должна работать

VOICE
Инженеры сделали трехколесный трехсредный трикоптер Инженеры сделали трехколесный трехсредный трикоптер

Трикоптер плавает со скоростью 2 м/с, а скорость на суше составляет 0,5 м/с

N+1
Как подобрать купальник по типу фигуры: секреты, которые нужно знать каждой Как подобрать купальник по типу фигуры: секреты, которые нужно знать каждой

Подробный гайд о том, как подобрать купальник под свой тип фигуры

VOICE
Как правильно «собрать урожай» | Harvesting Done Right: Как правильно «собрать урожай» | Harvesting Done Right:

Использование методики Outcome Harvesting в оценке проектов

Позитивные изменения
Почему спать с открытым ртом – вредно для здоровья: 6 опасных последствий Почему спать с открытым ртом – вредно для здоровья: 6 опасных последствий

Надоело просыпаться с заложенным носом и пересохшим ртом?

ТехИнсайдер
Шкала пригодности: 3 способа понять, правильный ли человек рядом с вами Шкала пригодности: 3 способа понять, правильный ли человек рядом с вами

Поиск единственного и неповторимого может занять много времени. Что же делать?

Psychologies
«Я – смерть, разрушитель миров»: грезы и смыслы Роберта Оппенгеймера «Я – смерть, разрушитель миров»: грезы и смыслы Роберта Оппенгеймера

Предлагаем вспомнить историю выдающегося физика и «отца атомной бомбы»

Правила жизни
Видимо-невидимо: как женщины на работе прячут эмоции, усталость и собственное мнение Видимо-невидимо: как женщины на работе прячут эмоции, усталость и собственное мнение

Как устроен невидимый эмоциональный труд женщин

Forbes
Цапли не то, чем кажутся: каким получился последний фильм Миядзаки «Как поживаете?» Цапли не то, чем кажутся: каким получился последний фильм Миядзаки «Как поживаете?»

«Как поживаете?» — фильм о том, как важно научиться принимать смерть

Правила жизни
Пляжное тело: почему считается, что право надеть купальник нужно заслужить, — личный опыт и мнение психологов Пляжное тело: почему считается, что право надеть купальник нужно заслужить, — личный опыт и мнение психологов

Почему надеть бикини порой может быть непросто?

Psychologies
Тяжелое утро? Вот как отключить мысли и засыпать спокойно: совет эксперта Тяжелое утро? Вот как отключить мысли и засыпать спокойно: совет эксперта

Почему наш разум становится чрезмерно активным ночью?

ТехИнсайдер
Обратный эффект Обратный эффект

11 продуктов для тех, кто мечтает набрать вес, а не сбросить

Лиза
Новый Mitsubishi L200 наконец-то представлен официально Новый Mitsubishi L200 наконец-то представлен официально

Шестое поколение Mitsubishi L200 получило новый дизель и коробку передач

4x4 Club
«Поля-двойники»: как Игорь Вулох вписывается в общий портрет русских нонконформистов «Поля-двойники»: как Игорь Вулох вписывается в общий портрет русских нонконформистов

Почему без Игоря Вулоха нельзя представить неофициальное искусство CCCР?

Forbes
Голос лидера: как говорить, чтобы вас слушались Голос лидера: как говорить, чтобы вас слушались

Что определяет лидерский голос и как его развить?

Psychologies
Критические места. На что нужно обратить внимание при покупке подержанного VW Tiguan Критические места. На что нужно обратить внимание при покупке подержанного VW Tiguan

Куда следует заглянуть, покупая самую распространённую версию Tiguan 2.0 TSI

4x4 Club
Что такое алкогольная депрессия и как распознать ее признаки Что такое алкогольная депрессия и как распознать ее признаки

Почему после обильного возлияния хочется умереть?

Maxim
5 популярных физических упражнений, от которых практически нет пользы 5 популярных физических упражнений, от которых практически нет пользы

Эти упражнения — ложные друзья каждого ЗОЖника

Maxim
Вечная жизнь: нужно ли людям бессмертие — размышления философа Вечная жизнь: нужно ли людям бессмертие — размышления философа

Вы бы хотели жить вечно? Давайте пофантазируем

Psychologies
7 типов голода: как контролировать аппетит — советы специалиста 7 типов голода: как контролировать аппетит — советы специалиста

Как научиться отличать реальную потребность в еде от ложной

Psychologies
Открыть в приложении