Технологические аварии давно не редкость, но кто в них виноват?

Популярная механикаHi-Tech

Uber-сюрприз: “человеческий фактор” и аварии беспилотных автомобилей

Автор текста: Андрей Кузнецов

36493706b1df01a77abdcc042e919f2d.jpg
Waymo

Наша жизнь все больше насыщается технологиями. Технологические аварии давно не редкость. Как понимать эти события? Кто виноват? И что делать? Есть популярное объяснение аварий через отсылку к “человеческому фактору”. В этом материале мы покажем, что это объяснение не только ошибочное, но и вредное. Часто такие объяснения дают, чтобы ничего не делать, ничего не менять в политике технологий.

В противовес этому мы на примере беспилотных автомобилей предложим другой способ понимания технологических аварий.

Центр исследований науки и технологий Европейского университета в Санкт-Петербурге совместно с Факультетом технологического менеджмента и инноваций Университета ИТМО делает уникальную для России магистратуру “Технонаука и инновации”. В рамках этой образовательной программы мы готовим исследователей наук, технологий и инноваций, спрос на которых растет по мере технологизации нашей жизни. Мы учим думать о технологиях по-новому, по-современному, чтобы помочь сделать их не только чуть более надежными и эффективными, но и более справедливыми, устойчивыми и социально ориентированными.

Один из стандартных способов думать о технологиях – объяснять технологические аварии или поломки через отсылку к “человеческому фактору”. Ниже мы покажем, что этот механизм интерпретации аварий проблематичен и даже вреден. Чтобы сделать наши технологии лучше, мы должны от него отказаться.

Начнем с примера, показывающего, как выглядит объяснение аварий через “человеческий фактор” на практике.

“Человеческий фактор” в объяснении небольшого инцидента с Waymo в Сан-Франциско

Совсем недавно, 16 июня 2021, во время тестирования в Сан-Франциско беспилотный автомобиль Waymo сбил человека, пересекавшего пешеходный переход на электросамокате. Человек получил неизвестные повреждения мягких тканей тела и покинул место происшествия самостоятельно, у беспилотника слегка пострадала табличка с номером. Власти Калифорнии обязывают составлять протоколы всех происшествий с беспилотными автомобилями и делать их публичными.

Из протокола этого столкновения узнаем подробности. Автомобиль Waymo подъехал к перекрестку в беспилотном режиме, чтобы совершить поворот налево, и остановился на красный свет. Когда загорелся зеленый, автомобиль в беспилотном режиме чуть продвинулся на пешеходный переход, подготавливаясь поворачивать налево, но начал пропускать встречный транспорт и других участников движения. Тем временем загорелся желтый свет, а автомобиль Waymo все еще стоял, частично перекрывая перекресток и отказываясь поворачивать налево. В этот момент водитель-испытатель взял управление на себя и начал совершать поворот налево. Через 4 секунды, автомобиль Waymo, находясь в ручном режиме, на скорости 6 миль в час сбил человека на электросамокате, пересекавшего на скорости 7 миль в час пешеходный переход на красный свет как для транспорта, так и для пешеходов.

81777ea3c6f07c1d82eab60a267cbca2.jpg
ANDREI STANESCU/ALAMY

Это событие идеально для наших целей. С одной стороны, инцидент вряд ли бы освещался публично, если бы в нем не был замешан беспилотный автомобиль на стадии тестирования. С другой – обошлось без серьезных последствий, и в последующем обсуждении превалируют не ажиотаж и эмоции, а трезвые попытки понять, что же произошло. Вряд ли за данной мелкой аварией последует публичное расследование. Но в одном из сообществ на Reddit, посвященном беспилотным автомобилям, возникла небольшая, но интересная дискуссия. Трудно сказать, кем являются пользователи, участвующие в этой дискуссии. Только один из них заявляет о себе, как о бывшем водителе-испытателе. Но это не так важно как то, что дискуссия носит предметный и рациональный характер, никаких перепалок и холиваров. Люди действительно пытаются интерпретировать протокол-описание инцидента.

Что обсуждают члены сообщества Reddit?

Был ли водитель нетерпелив в этой ситуации? Нет, утверждает экс-водитель-испытатель Waymo, их обучают выводить автомобиль из беспилотного режима, когда того требует ситуация, как здесь. Был риск застрять на перекрестке и заблокировать его. Но из отчета ясно, что автомобиль не стоял посреди перекрестка, а лишь блокировал часть одного из переходов. Так что водитель мог подождать следующего зеленого сигнала светофора. Но экс-водитель-испытатель не сдается и предлагает не винить водителя в этом инциденте. Да, он принял неверное решение, но их работа связана с очень большим стрессом. Для одного из пользователей информация о том, чему обучают водителей-испытателей Waymo звучит как инсайт. Она позволяет понять, почему во всех отчетах об инцидентах с Waymo, их автомобили находятся в ручном, а не беспилотном режиме.

Кто виноват в столкновении - “компьютер” Waymo или водитель?

Пользователи дают несколько объяснений аварии через “человеческий фактор”, в которых именно человек, а не технологии виноваты в инциденте. Согласно одной версии, водитель неправильно оценил ситуацию. Он мог остаться на перекрестке на еще один цикл светофора, и ничего страшного не случилось бы. В другой версии выдвигается гипотеза, что сенсоры Waymo заметили электросамокат на тротуаре заранее, а алгоритмы предсказали его возможное поведение (проезд через переход на красный) и, вероятно, поэтому автомобиль не собирался поворачивать, даже когда у него появилась такая возможность. Водитель не понял этой “прозорливости” беспилотника, принял неверное решение и взял управление на себя. В еще одной версии ссылаются на неназванную книгу, написанную физиком, который разрабатывал системы безопасности для атомных реакторов. Основная мысль этой книги в том, что все аварии на атомных станциях случались в результате того, что люди нарушали протоколы безопасности, потому что ошибочно думали, что знают систему лучше.

Резюмируем: проблема, скорее всего, в водителе. Автоматика сделала правильный выбор. Все это говорит о том, что компьютер очень мало или вообще не способствовал возникновению этого инцидента. Waymo просто нужно исправить некоторые баги, которые иногда приводят [беспилотный автомобиль] к путанице или делают его слишком нерешительным.

Один из самых заплюсованных комментариев утверждает: “Это интересно, поскольку это тот случай, когда присутствие страховочного водителя делает его [беспилотный автомобиль] менее безопасным. Это может быть одним из ожидаемых знаков зрелости беспилотных автомобилей – страховочный водитель становится самым большим источником рисков в беспилотном автомобиле”.

На периферии дискуссии оказываются замечания о том, что если у Waymo действительно есть видео, доказывающее, что их технологии все делали правильно, а проблема именно в водителе, то почему они их не выложат?

Что показывает этот пример?

  • Даже в такой, с виду простой, ситуации вовсе не очевидно, что именно произошло. Требуется интеллектуальная работа, чтобы понять и объяснить аварию. В данном случае, ее провели пользователи Reddit.
  • Участники дискуссии несколькими разными способами пытались перенести вину за происшествие с “компьютеров” Waymo на водителя-испытателя. Эту схему интерпретации мы назвали "объяснением технологической аварии через человеческий фактор”. Единственная попытка оправдать водителя исходит от пользователя, непосредственно знакомого с подобными ситуациями изнутри.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стоит ли бояться применения искусственного интеллекта в медицинской диагностике Стоит ли бояться применения искусственного интеллекта в медицинской диагностике

Что такое ИИ и как он применяется в медицинской диагностике?

Популярная механика
Как избавиться от неприятного запаха в квартире Как избавиться от неприятного запаха в квартире

Наполнив квартиру запахами природы, ты удивишься, насколько нравишься себе

Maxim
Хуже некуда? Разбираемся, что стало с тренерами сборной России после работы с командой Хуже некуда? Разбираемся, что стало с тренерами сборной России после работы с командой

Так ли на самом деле плохи тренеры сборной России по футболу?

Maxim
«Я должна держаться на расстоянии от мужа, потому что моя сестра влюблена в него» «Я должна держаться на расстоянии от мужа, потому что моя сестра влюблена в него»

Наша героиня оказалась перед выбором: ее личная жизнь или чувства сестры

Psychologies
10 важных вопросов о Персеидах 10 важных вопросов о Персеидах

Метеорные потоки — явление очень увлекательное и романтичное!

Популярная механика
7 сериалов, которые надо посмотреть до конца лета. Выбор Esquire 7 сериалов, которые надо посмотреть до конца лета. Выбор Esquire

Лучшие сериалы, от которых нельзя оторваться

Esquire
Конфузы принцессы Дианы на свадьбе: перепутала имя жениха и испортила платье Конфузы принцессы Дианы на свадьбе: перепутала имя жениха и испортила платье

Брак принца Чарльза и Дианы Спенсер эксперты называют роковой ошибкой

Cosmopolitan
6 фактов о котах, которые вы не знали: предпочтения в музыке, еде и выборе друзей 6 фактов о котах, которые вы не знали: предпочтения в музыке, еде и выборе друзей

Факты, которые помогут лучше понять психологию и поведение котов

Популярная механика
Личная жизнь звезд фильма «Викинг»: Ходченковой, Козловского, Бортич и других Личная жизнь звезд фильма «Викинг»: Ходченковой, Козловского, Бортич и других

Как изменилась личная жизнь артистов фильма «Викинг»?

Cosmopolitan
Эффект бабочки: как чешуекрылым насекомым удается оставаться для нас таинственными незнакомцами Эффект бабочки: как чешуекрылым насекомым удается оставаться для нас таинственными незнакомцами

Мы настолько привыкли к этим созданиям, что забыли, насколько они удивительны

Вокруг света
Сериальная рулетка: скажи нам, какое у тебя настроение, и мы выберем тебе сериал Сериальная рулетка: скажи нам, какое у тебя настроение, и мы выберем тебе сериал

Сериалы под любое настроение

Cosmopolitan
Правило двух недель: как пережить тяжелый разрыв Правило двух недель: как пережить тяжелый разрыв

Несколько советов, которые позволят тебе быстрее исцелиться от расставания

Cosmopolitan
Дрессировка кошек Шрёдингера в промышленных масштабах Дрессировка кошек Шрёдингера в промышленных масштабах

2020 останется в истории как сорокалетний юбилей Второй квантовой революции

Наука и жизнь
Физики впервые уловили свет с обратной стороны черной дыры Физики впервые уловили свет с обратной стороны черной дыры

Астрофизики обнаружили свет, исходящий с обратной стороны черной дыры

Популярная механика
Как проверить автомобиль с пробегом по базам. Полная инструкция Как проверить автомобиль с пробегом по базам. Полная инструкция

Что можно узнать об истории машины по VIN-коду

РБК
Аристократ от керамики: 5 интересных фактов о фарфоре Аристократ от керамики: 5 интересных фактов о фарфоре

Изобретенный в Китае фарфор покорил Европу и по сей день играет большую роль

Вокруг света
Работа убивает: 5 герпетологов, которые не пережили укус змеи Работа убивает: 5 герпетологов, которые не пережили укус змеи

Порой герпетологи гибнут от змеиных укусов из-за нелепой случайности

Вокруг света
Ах, Самара-городок Ах, Самара-городок

Визитные карточки Самары, которые изменят твои представления о ней

Лиза
Флагманский кроссовер Chery. Что делает Tiggo 8 Pro особенным? Флагманский кроссовер Chery. Что делает Tiggo 8 Pro особенным?

Компания Chery представила свой новый полноразмерный кроссовер Tiggo 8 Pro

4x4 Club
15 главных героев Евро-2020 15 главных героев Евро-2020

Кто запомнился зрителям с Евро-2020?

GQ
История зависимости. Тиффани Дженкинс: «Чистый кайф. Я отчаянно пыталась сбежать из этого мира, но выбрала жизнь» История зависимости. Тиффани Дженкинс: «Чистый кайф. Я отчаянно пыталась сбежать из этого мира, но выбрала жизнь»

История зависимости и возвращения к жизни

СНОБ
Минимум спорта, белки, психология: главные секреты похудения Адель Минимум спорта, белки, психология: главные секреты похудения Адель

Все способы похудения Адель

Cosmopolitan
Мейд-кафе, многоэтажные караоке и другие странные развлечения Японии Мейд-кафе, многоэтажные караоке и другие странные развлечения Японии

Такие странные способы отдыха, как в Японии, редко встретишь в других странах

Вокруг света
Сибирские ученые разработали кремниевый солнечный элемент с почти рекордным показателем эффективности Сибирские ученые разработали кремниевый солнечный элемент с почти рекордным показателем эффективности

Ученые создали элемент для преобразования солнечного излучения в электричество

Популярная механика
Уложила и забыла Уложила и забыла

Топ-5 средств, которые меньше всего портят свежесть укладки

Лиза
Восполняем дефицит Восполняем дефицит

Каких полезных веществ организму летом особенно недостает?

Лиза
Последний писк: модные тенденции, заданные фильмами Последний писк: модные тенденции, заданные фильмами

Самые яркие образы из кино, надолго запомнившиеся зрителям и повлиявшие на моду

Cosmopolitan
«Ментальный тренажерный зал»: 6 упражнений для тренировки мозга «Ментальный тренажерный зал»: 6 упражнений для тренировки мозга

Можно ли натренировать мозг так же, как мы тренируем мышцы?

Psychologies
Лучшие книги Стивена Кинга: топ-11 произведений по мнению читателей Лучшие книги Стивена Кинга: топ-11 произведений по мнению читателей

Подборка самых выдающихся романов короля ужасов Стивена Кинга

Playboy
В Габоне нашли останки людей доколониальной эпохи с деформированными черепами В Габоне нашли останки людей доколониальной эпохи с деформированными черепами

Археологи обнаружили в пещере Ирунгу тысячи человеческих останков

N+1
Открыть в приложении