Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Будущее пищевой промышленности: меньше газов — больше искусственного интеллекта Будущее пищевой промышленности: меньше газов — больше искусственного интеллекта

Что сейчас актуально среди технологий будущего для пищевой промышленности

Forbes
Необъяснимые загадки молний: почему нельзя звонить в грозу и как электричество срывает с людей одежду Необъяснимые загадки молний: почему нельзя звонить в грозу и как электричество срывает с людей одежду

Молния — физическое явление, способное вытворять очень странные штуки

Maxim
Из бани в Лувр. Почему «Джоконда» стала главной картиной всех времен и народов Из бани в Лувр. Почему «Джоконда» стала главной картиной всех времен и народов

«Мона Лиза», или «Джоконда», — кто она?

СНОБ
«Рома приобнял меня на балконе»: Наталья Штурм рассказала, как за ней ухаживал Абрамович «Рома приобнял меня на балконе»: Наталья Штурм рассказала, как за ней ухаживал Абрамович

Наталья Штурм рассказала о своем школьном романе

VOICE
«Жертвы» одного хита: как складываются судьбы музыкантов с одной популярной песней «Жертвы» одного хита: как складываются судьбы музыкантов с одной популярной песней

Psychologies вспоминает судьбы нескольких «артистов одного хита»

Psychologies
Константин Потапов Константин Потапов

Победитель Heineken Regatta — как прийти в яхтинг и что нужно, чтобы побеждать

Y Magazine
На побережье Британии найдены гигантские каменные топоры возрастом больше 300 000 лет На побережье Британии найдены гигантские каменные топоры возрастом больше 300 000 лет

Один из самых больших ручных топоров, когда-либо обнаруженных в Британии

ТехИнсайдер
Русская нефть никак не отринет доллар Русская нефть никак не отринет доллар

Ценовой индикатор на российскую нефть на основе реальных сделок будет долларовым

Эксперт
Люди потерпели боль ради бесполезной информации Люди потерпели боль ради бесполезной информации

Ученые узнали, что люди готовы терпеть боль ради избегания неизвестности

N+1
Как сооснователи банка «Точка» строят чат-бот для бизнеса в Великобритании Как сооснователи банка «Точка» строят чат-бот для бизнеса в Великобритании

Борис Дьяконов и Эдуард Пантелеев и их финтехстартап в Великобритании

Forbes
Виртуальная оперативная память в смартфоне — почему её не стоит использовать Виртуальная оперативная память в смартфоне — почему её не стоит использовать

В чем плюсы и минусы виртуальной оперативной памяти в смартфоне?

CHIP
Головная боль всех кошатников: как отучить питомца царапать мебель Головная боль всех кошатников: как отучить питомца царапать мебель

Почему кота больше привлекает не когтеточка, а ваш диван?

ТехИнсайдер
Удивят, отвратят, напугают, просветят: 7 необычных книг для интеллектуалов Удивят, отвратят, напугают, просветят: 7 необычных книг для интеллектуалов

Тру-стори о лондонском приюте, мрачный артхаус о любви и притчи из Вавилона

ТехИнсайдер
«Мама посвятила свою жизнь бабушке и теперь того же ожидает от меня»: обыкновенная история «Мама посвятила свою жизнь бабушке и теперь того же ожидает от меня»: обыкновенная история

Порой мы ожидаем от близкого человека роли, к которой он оказывается не готов

Psychologies
Как мозг воспринимает и хранит слова, которые мы слышим. Новое исследование Как мозг воспринимает и хранит слова, которые мы слышим. Новое исследование

Слуховой лексикон мозга расположен в передней части первичной слуховой коры

ТехИнсайдер
Она улетела Она улетела

Ракета «Ариан-5» ушла на покой

N+1
Какие шляпы и бейсболки носят девушки со вкусом: ключевые тренды на головные уборы Какие шляпы и бейсболки носят девушки со вкусом: ключевые тренды на головные уборы

Подборка стильных головных уборов

VOICE
Пауки-улобориды убили жертв пищеварительным соком Пауки-улобориды убили жертв пищеварительным соком

Отсутствие ядовитых желез на головогруди не помешало охоте пауков-улоборидов

N+1
Сетевой маркетинг: как спортсмены NCAA зарабатывают миллионы, оставаясь любителями Сетевой маркетинг: как спортсмены NCAA зарабатывают миллионы, оставаясь любителями

Как студенты-спортсмены зарабатывают миллионы

Forbes
Такой же разведчик, как мы Такой же разведчик, как мы

Как «Семнадцать мгновений весны» стали киноманифестом идеологии 1970‑х

Weekend
«Кормилец» и «хранительница очага»: чему будут учить детей на уроках «Семьеведения» «Кормилец» и «хранительница очага»: чему будут учить детей на уроках «Семьеведения»

Чему посвящены учебные программы по подготовке школьников к семейной жизни?

Forbes
Охота на уток Охота на уток

Как чёрная уточка стала новым символом успеха

Robb Report
«Поля-двойники»: как Игорь Вулох вписывается в общий портрет русских нонконформистов «Поля-двойники»: как Игорь Вулох вписывается в общий портрет русских нонконформистов

Почему без Игоря Вулоха нельзя представить неофициальное искусство CCCР?

Forbes
Я — сноб: актриса Наташа Бардо Я — сноб: актриса Наташа Бардо

Актриса Наташа Бардо — о том, что удивляет ее в людях больше всего

СНОБ
У микобактерии лепры нашли новый антиген в клеточной стенке У микобактерии лепры нашли новый антиген в клеточной стенке

Ученые обнаружили в клеточной стенке микобактерии лепры фенольный гликолипид-II

N+1
Семейные ссоры: как остаться вместе — 4 правила Семейные ссоры: как остаться вместе — 4 правила

Что нужно сказать, когда ситуация во время ссоры становится критической?

Psychologies
Алмазный, стеклянный и каменный дожди: какие бывают осадки на других планетах Алмазный, стеклянный и каменный дожди: какие бывают осадки на других планетах

Состав дождя на других планетах может вас шокировать

ТехИнсайдер
«Научиться держать слово»: советы от богатейших инвесторов мира «Научиться держать слово»: советы от богатейших инвесторов мира

Как разжиться достаточным богатством, чтобы попасть в список Forbes?

Forbes
5 переводных книг из прошлого века, которые добрались до нас только сейчас 5 переводных книг из прошлого века, которые добрались до нас только сейчас

Романы XX века, которые раньше не издавались в России

Правила жизни
Главред «Таких дел» Евгения Волункова — Forbes: «Происходит катастрофа — не паникуем» Главред «Таких дел» Евгения Волункова — Forbes: «Происходит катастрофа — не паникуем»

Интервью с главредом «Таких дел» Евгенией Волунковой

Forbes
Открыть в приложении