Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Борьба вместо рестлинга: Халк Хоган создал профессиональную лигу и привлек чемпионов Борьба вместо рестлинга: Халк Хоган создал профессиональную лигу и привлек чемпионов

Пиво, чемпионы и венчурные фонды: зачем Халк Хоган создал свою лигу?

Forbes
Полиглот с детства: так ли легко воспитать ребенка-билингва — личная история и комментарий психолога Полиглот с детства: так ли легко воспитать ребенка-билингва — личная история и комментарий психолога

Как воспитывать детей-билингвов?

Psychologies
Настоящие произведения искусства: топ-5 самых красивых паспортов в мире Настоящие произведения искусства: топ-5 самых красивых паспортов в мире

Развороты некоторых паспортов можно смело вывешивать в галереях. Посмотрите!

ТехИнсайдер
Битый отбитого везет Битый отбитого везет

Юэль Киннаман и Николас Кейдж разыгрывают безнадежный сценарий

Weekend
Что вас бесит больше всего: психологический тест с выбором картинки Что вас бесит больше всего: психологический тест с выбором картинки

Пройдите тест и узнайте, от чего может исходить ваша агрессия!

ТехИнсайдер
Птицы построили гнезда из противоптичьих шипов Птицы построили гнезда из противоптичьих шипов

Необычный материал для гнезд использовали сороки и черные вороны

N+1
Убывающий субъект: почему Курганская область теряет население Убывающий субъект: почему Курганская область теряет население

Чем занимаются курганские предприниматели и какое у них будущее?

Forbes
Вода: сколько пить в литрах? Вода: сколько пить в литрах?

Правильный питьевой режим — что это за зверь?

Здоровье
Температура плавления: как пережить жару и избежать теплового удара? Температура плавления: как пережить жару и избежать теплового удара?

Как легче переносить высокие температуры без вреда для здоровья

Правила жизни
Телефонная зависимость: что такое фаббинг и как с ним справиться Телефонная зависимость: что такое фаббинг и как с ним справиться

Как распознать у себя фаббинг и как от него избавиться

Правила жизни
Инфляция растет: как защитить свои деньги Инфляция растет: как защитить свои деньги

Как инвесторам защитить свои сбережения, когда инфляция разгоняется?

Forbes
Голос совести: как Шинейд О’Коннор хватило смелости оставаться самой собой Голос совести: как Шинейд О’Коннор хватило смелости оставаться самой собой

Шинейд О’Коннор — одна из самых противоречивых фигур музыкальной индустрии

Forbes
Псилоцибин оказался безопасен и потенциально эффективен при нервной анорексии Псилоцибин оказался безопасен и потенциально эффективен при нервной анорексии

Назначение псилоцибина улучшило состояние пациенток с нервной анорексией

N+1
Без огонька Без огонька

Как избежать штрафа за разведение костра на природе и дачном участке

Лиза
Вредничает или болеет Вредничает или болеет

Почему животное не слушается, проявляет агрессию или метит территорию?

Лиза
Мнение экспертов: веганы улучшают экологию Земли. Поменяете диету? Мнение экспертов: веганы улучшают экологию Земли. Поменяете диету?

Веганская диета позитивно сказывается на экологическом состоянии нашей планеты

ТехИнсайдер
Каким получился «Оппенгеймер» Кристофера Нолана — самый ожидаемый фильм года Каким получился «Оппенгеймер» Кристофера Нолана — самый ожидаемый фильм года

«Оппенгеймер» — кино о амбивалентной природе человечества

Правила жизни
Симптомы избытка сахара в крови: как понять, что у вас гипергликемия Симптомы избытка сахара в крови: как понять, что у вас гипергликемия

Как понять, что у вас повышен сахар?

ТехИнсайдер
Откуда и когда начали свое распространение индоевропейские языки Откуда и когда начали свое распространение индоевропейские языки

Индоевропейские языки берут свое начало на Южном Кавказе 8000 лет назад

ТехИнсайдер
DRACO в космосе: зачем в NASA создают ядерный двигатель DRACO в космосе: зачем в NASA создают ядерный двигатель

Полмиллиарда долларов на создание космического корабля с ядерным двигателем

Forbes
«Красивый, плохой, злой»: почему женщины влюбляются в маньяков — 2 фильма о психологии поклонниц «Красивый, плохой, злой»: почему женщины влюбляются в маньяков — 2 фильма о психологии поклонниц

Вспоминаем две такие картины о самых жестоких убийцах XX века

Psychologies
В Индийском океане существует гигантская гравитационная дыра, и мы наконец-то можем узнать ее причину В Индийском океане существует гигантская гравитационная дыра, и мы наконец-то можем узнать ее причину

К образованию этой аномалии привели шлейфы раскаленной магмы

ТехИнсайдер
Российский кинорежиссер Кирилл Кемниц: В кино денег всегда чуть-чуть не хватает Российский кинорежиссер Кирилл Кемниц: В кино денег всегда чуть-чуть не хватает

Интервью с российским режиссером Кириллом Кемницем

СНОБ
«Динозавры России: Прошлое, настоящее, будущее» «Динозавры России: Прошлое, настоящее, будущее»

Книга о русских динозаврах и о тех, кто их изучает

N+1
Если море зовет Если море зовет

Magellano 60 — самодостаточный кроссовер, способный на долгое плавание

Y Magazine
Джентльменские клубы наоборот: как женщины создавали альтернативу мужским сообществам Джентльменские клубы наоборот: как женщины создавали альтернативу мужским сообществам

История женских клубов, в которых обсуждали равноправие и избирательные права

Forbes
Слияние, отдаление, контакт, близость: как пройти 4 стадии дружбы Слияние, отдаление, контакт, близость: как пройти 4 стадии дружбы

Почему мы теряем друзей?

Psychologies
Генерал Франко и его мятеж Генерал Франко и его мятеж

На марке Испанского Марокко всего лишь скромная надпечатка: 18 июля 1936 года

Дилетант
Свобода лучше, чем несвобода Свобода лучше, чем несвобода

Анджела Дэвис почти полвека остаётся иконой борьбы с несправедливостью

Дилетант
История одного советского IT-стартапа. Кто придумал тетрис История одного советского IT-стартапа. Кто придумал тетрис

Простую игру, состоящую из «кирпичиков» разной формы, разработали в СССР

СНОБ
Открыть в приложении