Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Уже не косметика, но еще не лекарство: чем опасна космецевтика Уже не косметика, но еще не лекарство: чем опасна космецевтика

Чем опасно бесконтрольное применение космецевтики?

Forbes
Неочевидное, но вероятное: зачем ехать на выходные в Каргополь Неочевидное, но вероятное: зачем ехать на выходные в Каргополь

Хотите открыть для себя Русский Север — начинайте с Каргополя

Правила жизни
«Когда-нибудь, возможно»: как потеря близкого человека меняет отношения в семье «Когда-нибудь, возможно»: как потеря близкого человека меняет отношения в семье

Отрывок из книги «Когда-нибудь, возможно» — как говорить о потере близкого

Forbes
Охота за иконами: как СССР создавал мировой спрос на древнерусское искусство Охота за иконами: как СССР создавал мировой спрос на древнерусское искусство

Глава из книги «Судьбы икон в Стране Советов. 1920–1930-е»

Forbes
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Как Дзюнко Табэи первой из женщин покорила Эверест и другие главные вершины Как Дзюнко Табэи первой из женщин покорила Эверест и другие главные вершины

Как альпинистка Дзюнко Табэи разрушила стереотип о роли женщины в Японии

Forbes
Картинки с отягчающими обстоятельствами Картинки с отягчающими обстоятельствами

Как карикатуры нарушали границы допустимого и к каким последствиям это приводило

Weekend
Почему Мировой океан меняет свой цвет: зеленые воды Почему Мировой океан меняет свой цвет: зеленые воды

Почему так важен цвет океана и почему он меняется?

ТехИнсайдер
Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос

Сериал «Медведь»: как поддержка и любовь близких могут повлиять на бизнес

Forbes
Распутать берега Распутать берега

Кроссовер Omoda С5 на бездорожье Кольского полуострова

Автопилот
От итальянских рабочих до суперзвезд и инфлюенсеров: история белой майки От итальянских рабочих до суперзвезд и инфлюенсеров: история белой майки

Откуда вообще взялась белая майка и при чем тут алкоголики и расизм

Правила жизни
Ягоды и грибы: где и как правильно собирать. Советы эксперта Ягоды и грибы: где и как правильно собирать. Советы эксперта

Где и когда искать грибы и ягоды, что взять с собой и как одеться

РБК
Дневник предпринимательницы: во сколько бизнесу обходится электронный документооборот Дневник предпринимательницы: во сколько бизнесу обходится электронный документооборот

Какие расходы влечет за собой электронный документооборот?

Forbes
«Уход мужа заново открыл для меня мир свиданий и подарил ощущение легкости жизни»: история развода после 50 «Уход мужа заново открыл для меня мир свиданий и подарил ощущение легкости жизни»: история развода после 50

Развод, которого она боялась, многое в ее жизни неожиданно изменил к лучшему

Psychologies
«Кенгуру с карманом, набитым деньгами»: история румына с зарплатой в $10, который 14 раз законно выиграл в лотерею «Кенгуру с карманом, набитым деньгами»: история румына с зарплатой в $10, который 14 раз законно выиграл в лотерею

Математика или обман: история Стефана Манделя и его побед в лотереях

VC.RU
Как Барби видит свой розовый мир. И почему это важно для космических путешествий Как Барби видит свой розовый мир. И почему это важно для космических путешествий

Идеальная розовая обитель в фильме «Барби» ставит реальные научные вопросы

ТехИнсайдер
Алкогольная депрессия: как распознать проблему — объяснение нарколога Алкогольная депрессия: как распознать проблему — объяснение нарколога

Тревожные звоночки, когда алкоголь высасывает радость, а не приносит её

Psychologies
Как в русском фольклоре появились русалки? Как в русском фольклоре появились русалки?

Кого на Руси называли русалками?

Культура.РФ
Уроки стартаповедения: о чем не стоит забывать тем, кто запускает свой проект Уроки стартаповедения: о чем не стоит забывать тем, кто запускает свой проект

Как удержать свой стартап на плаву и сделать его успешным?

Forbes
Полезная еда на скорую руку: 9 простых советов — начните правильно питаться уже сегодня Полезная еда на скорую руку: 9 простых советов — начните правильно питаться уже сегодня

Как тратить на готовку по 10-20 минут?

Psychologies
Найдены древнейшие ледники на Земле: они покоятся под африканским золотом Найдены древнейшие ледники на Земле: они покоятся под африканским золотом

Ученые обнаружили следы древнейших ледников

ТехИнсайдер
«Сексуальная женщина любит себя!»: жена Александра Малинина раскрыла секрет крепкого брака «Сексуальная женщина любит себя!»: жена Александра Малинина раскрыла секрет крепкого брака

Эмма Малинина рассказала, что помогает ей поддерживать свежесть чувств в браке

VOICE
Говорить «нет»: 6 ситуаций, когда это необходимо Говорить «нет»: 6 ситуаций, когда это необходимо

Это маленькое слово имеет большой вес, но сказать его непросто

Psychologies
Ученые доказали Ученые доказали

Почему чиновники и бизнес не могут обойтись без науки

N+1
Тонкий вопрос: почему медики и ученые сомневаются в объективности индекса массы тела Тонкий вопрос: почему медики и ученые сомневаются в объективности индекса массы тела

Из рабочего инструмента оценки здоровья ИМТ превратился в орудие фэтшейминга

Forbes
Чат-бот объяснил, как избежать ошибок при настройке тормозов велосипеда Чат-бот объяснил, как избежать ошибок при настройке тормозов велосипеда

Кто даёт более полезные советы – живой мастер на Youtube или чат-бот You.com?

ТехИнсайдер
Заоблачные педали: как доставка на велосипедах и самокатах стимулирует e-commerce Заоблачные педали: как доставка на велосипедах и самокатах стимулирует e-commerce

Как развивается ультрабыстрая доставка и как меняет мир вокруг себя

Forbes
Тельца Краузе в клиторе и пенисе мышей отреагировали на вибрацию Тельца Краузе в клиторе и пенисе мышей отреагировали на вибрацию

Мыши без телец Краузе с трудом начинали половой акт

N+1
Перестаньте выбрасывать фисташковую скорлупу: 5 гениальных идей, как использовать ее в быту Перестаньте выбрасывать фисташковую скорлупу: 5 гениальных идей, как использовать ее в быту

Фисташковая скорлупа может пригодиться вам в доме и на даче!

ТехИнсайдер
«Главное — никого не разочаровать»: 5 ловушек мышления, которые мешают стать счастливыми «Главное — никого не разочаровать»: 5 ловушек мышления, которые мешают стать счастливыми

Почему мы саботируем свой путь к счастью?

Psychologies
Открыть в приложении