Технологические аварии давно не редкость, но кто в них виноват?

Популярная механикаHi-Tech

Uber-сюрприз: “человеческий фактор” и аварии беспилотных автомобилей

Автор текста: Андрей Кузнецов

36493706b1df01a77abdcc042e919f2d.jpg
Waymo

Наша жизнь все больше насыщается технологиями. Технологические аварии давно не редкость. Как понимать эти события? Кто виноват? И что делать? Есть популярное объяснение аварий через отсылку к “человеческому фактору”. В этом материале мы покажем, что это объяснение не только ошибочное, но и вредное. Часто такие объяснения дают, чтобы ничего не делать, ничего не менять в политике технологий.

В противовес этому мы на примере беспилотных автомобилей предложим другой способ понимания технологических аварий.

Центр исследований науки и технологий Европейского университета в Санкт-Петербурге совместно с Факультетом технологического менеджмента и инноваций Университета ИТМО делает уникальную для России магистратуру “Технонаука и инновации”. В рамках этой образовательной программы мы готовим исследователей наук, технологий и инноваций, спрос на которых растет по мере технологизации нашей жизни. Мы учим думать о технологиях по-новому, по-современному, чтобы помочь сделать их не только чуть более надежными и эффективными, но и более справедливыми, устойчивыми и социально ориентированными.

Один из стандартных способов думать о технологиях – объяснять технологические аварии или поломки через отсылку к “человеческому фактору”. Ниже мы покажем, что этот механизм интерпретации аварий проблематичен и даже вреден. Чтобы сделать наши технологии лучше, мы должны от него отказаться.

Начнем с примера, показывающего, как выглядит объяснение аварий через “человеческий фактор” на практике.

“Человеческий фактор” в объяснении небольшого инцидента с Waymo в Сан-Франциско

Совсем недавно, 16 июня 2021, во время тестирования в Сан-Франциско беспилотный автомобиль Waymo сбил человека, пересекавшего пешеходный переход на электросамокате. Человек получил неизвестные повреждения мягких тканей тела и покинул место происшествия самостоятельно, у беспилотника слегка пострадала табличка с номером. Власти Калифорнии обязывают составлять протоколы всех происшествий с беспилотными автомобилями и делать их публичными.

Из протокола этого столкновения узнаем подробности. Автомобиль Waymo подъехал к перекрестку в беспилотном режиме, чтобы совершить поворот налево, и остановился на красный свет. Когда загорелся зеленый, автомобиль в беспилотном режиме чуть продвинулся на пешеходный переход, подготавливаясь поворачивать налево, но начал пропускать встречный транспорт и других участников движения. Тем временем загорелся желтый свет, а автомобиль Waymo все еще стоял, частично перекрывая перекресток и отказываясь поворачивать налево. В этот момент водитель-испытатель взял управление на себя и начал совершать поворот налево. Через 4 секунды, автомобиль Waymo, находясь в ручном режиме, на скорости 6 миль в час сбил человека на электросамокате, пересекавшего на скорости 7 миль в час пешеходный переход на красный свет как для транспорта, так и для пешеходов.

81777ea3c6f07c1d82eab60a267cbca2.jpg
ANDREI STANESCU/ALAMY

Это событие идеально для наших целей. С одной стороны, инцидент вряд ли бы освещался публично, если бы в нем не был замешан беспилотный автомобиль на стадии тестирования. С другой – обошлось без серьезных последствий, и в последующем обсуждении превалируют не ажиотаж и эмоции, а трезвые попытки понять, что же произошло. Вряд ли за данной мелкой аварией последует публичное расследование. Но в одном из сообществ на Reddit, посвященном беспилотным автомобилям, возникла небольшая, но интересная дискуссия. Трудно сказать, кем являются пользователи, участвующие в этой дискуссии. Только один из них заявляет о себе, как о бывшем водителе-испытателе. Но это не так важно как то, что дискуссия носит предметный и рациональный характер, никаких перепалок и холиваров. Люди действительно пытаются интерпретировать протокол-описание инцидента.

Что обсуждают члены сообщества Reddit?

Был ли водитель нетерпелив в этой ситуации? Нет, утверждает экс-водитель-испытатель Waymo, их обучают выводить автомобиль из беспилотного режима, когда того требует ситуация, как здесь. Был риск застрять на перекрестке и заблокировать его. Но из отчета ясно, что автомобиль не стоял посреди перекрестка, а лишь блокировал часть одного из переходов. Так что водитель мог подождать следующего зеленого сигнала светофора. Но экс-водитель-испытатель не сдается и предлагает не винить водителя в этом инциденте. Да, он принял неверное решение, но их работа связана с очень большим стрессом. Для одного из пользователей информация о том, чему обучают водителей-испытателей Waymo звучит как инсайт. Она позволяет понять, почему во всех отчетах об инцидентах с Waymo, их автомобили находятся в ручном, а не беспилотном режиме.

Кто виноват в столкновении - “компьютер” Waymo или водитель?

Пользователи дают несколько объяснений аварии через “человеческий фактор”, в которых именно человек, а не технологии виноваты в инциденте. Согласно одной версии, водитель неправильно оценил ситуацию. Он мог остаться на перекрестке на еще один цикл светофора, и ничего страшного не случилось бы. В другой версии выдвигается гипотеза, что сенсоры Waymo заметили электросамокат на тротуаре заранее, а алгоритмы предсказали его возможное поведение (проезд через переход на красный) и, вероятно, поэтому автомобиль не собирался поворачивать, даже когда у него появилась такая возможность. Водитель не понял этой “прозорливости” беспилотника, принял неверное решение и взял управление на себя. В еще одной версии ссылаются на неназванную книгу, написанную физиком, который разрабатывал системы безопасности для атомных реакторов. Основная мысль этой книги в том, что все аварии на атомных станциях случались в результате того, что люди нарушали протоколы безопасности, потому что ошибочно думали, что знают систему лучше.

Резюмируем: проблема, скорее всего, в водителе. Автоматика сделала правильный выбор. Все это говорит о том, что компьютер очень мало или вообще не способствовал возникновению этого инцидента. Waymo просто нужно исправить некоторые баги, которые иногда приводят [беспилотный автомобиль] к путанице или делают его слишком нерешительным.

Один из самых заплюсованных комментариев утверждает: “Это интересно, поскольку это тот случай, когда присутствие страховочного водителя делает его [беспилотный автомобиль] менее безопасным. Это может быть одним из ожидаемых знаков зрелости беспилотных автомобилей – страховочный водитель становится самым большим источником рисков в беспилотном автомобиле”.

На периферии дискуссии оказываются замечания о том, что если у Waymo действительно есть видео, доказывающее, что их технологии все делали правильно, а проблема именно в водителе, то почему они их не выложат?

Что показывает этот пример?

  • Даже в такой, с виду простой, ситуации вовсе не очевидно, что именно произошло. Требуется интеллектуальная работа, чтобы понять и объяснить аварию. В данном случае, ее провели пользователи Reddit.
  • Участники дискуссии несколькими разными способами пытались перенести вину за происшествие с “компьютеров” Waymo на водителя-испытателя. Эту схему интерпретации мы назвали "объяснением технологической аварии через человеческий фактор”. Единственная попытка оправдать водителя исходит от пользователя, непосредственно знакомого с подобными ситуациями изнутри.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стоит ли бояться применения искусственного интеллекта в медицинской диагностике Стоит ли бояться применения искусственного интеллекта в медицинской диагностике

Что такое ИИ и как он применяется в медицинской диагностике?

Популярная механика
От Майкла Джексона до Шерон Тейт: самые жуткие смерти в истории Голливуда От Майкла Джексона до Шерон Тейт: самые жуткие смерти в истории Голливуда

Самые странные, жуткие и загадочные смерти знаменитостей

Cosmopolitan
Несходные подобия Несходные подобия

О Борисе Кошелохове и Олеге Целкове

Weekend
Юрий Кузнецов Юрий Кузнецов

Юрий Кузнецов глазами Дмитрия Быкова

Дилетант
Жизнь на вулкане Жизнь на вулкане

Почему вулканолог, который построил карьеру в Корее, вернулся домой на Камчатку

Seasons of life
«Не место высоких достижений, а удовольствие для всех»: почему спорт в России должен быть доступен каждому «Не место высоких достижений, а удовольствие для всех»: почему спорт в России должен быть доступен каждому

Почему важна инклюзия и вовлечение девочек и женщин в командные виды спорта?

Forbes
Вопрос психологу: как перестать бояться отказа Вопрос психологу: как перестать бояться отказа

Я патологически боюсь отказов. С чем это связано?

Esquire
Антитела против бактериофагов помешали им вылечить инфекцию Антитела против бактериофагов помешали им вылечить инфекцию

Резистентность к бактериофагам помешала медикам вылечить пациента

N+1
6 песен, которые стоит послушать из плейлиста Барака Обамы 6 песен, которые стоит послушать из плейлиста Барака Обамы

Самые любопытные находки из плейлиста Барака Обамы

GQ
Целлюлоза помогла донорской микробиоте повысить чувствительность к инсулину у пациентов с ожирением Целлюлоза помогла донорской микробиоте повысить чувствительность к инсулину у пациентов с ожирением

Целлюлоза дает полезным бактериям преимущество в выживании

N+1
Пикантные фото Хазановой и других звезд сериала «Краткий курс счастливой жизни» Пикантные фото Хазановой и других звезд сериала «Краткий курс счастливой жизни»

Откровенные снимки звезд сериала «Краткий курс счастливой жизни»

Cosmopolitan
Здравствуйте, я ваша тётя! Фильмы о внезапно объявившихся родственниках Здравствуйте, я ваша тётя! Фильмы о внезапно объявившихся родственниках

Фильмы, сюжет которых строится вокруг недавно обретённых родственников

Cosmopolitan
Лжеимператор, поручик-бунтовщик, ссыльный песенник: три дерзких побега с каторги Лжеимператор, поручик-бунтовщик, ссыльный песенник: три дерзких побега с каторги

3 истории побегов с каторги

Вокруг света
Уловки водителей с номерами, и как за них наказывают Уловки водителей с номерами, и как за них наказывают

Какие махинации с номерами совершают водители, чтобы не платить штрафы?

РБК
Амилоидные образования отделили от «мусора» Амилоидные образования отделили от «мусора»

Ученые разобрались в структурных особенностях амилоидных отложений

Наука и жизнь
Для чего нужна термальная вода и как ее выбрать Для чего нужна термальная вода и как ее выбрать

В чем суперсила термальной воды?

Psychologies
Как понять, что вы состоите в зрелых отношениях Как понять, что вы состоите в зрелых отношениях

Несколько признаков здоровых, зрелых отношений

Psychologies
5 важных книг о любви к себе 5 важных книг о любви к себе

Книги с практическими упражнениями, советами, которые научат заботиться о себе

Psychologies
Мудборд: каким был Уимблдон и теннисисты в семидесятых Мудборд: каким был Уимблдон и теннисисты в семидесятых

Каким Уимблдон был в семидесятые — знаковый период для большого тенниса

Esquire
Коммерческие авто рулят из-под Калуги на экспорт Коммерческие авто рулят из-под Калуги на экспорт

Stellantis намерен в пять раз увеличить выпуск в России автомобилей класса LCV

Эксперт
Как Олимпиада показала скейтбордингу женскую перспективу Как Олимпиада показала скейтбордингу женскую перспективу

На Олимпийских играх в Токио дебютировал скейтбординг — с победами юных девушек

РБК
Рой дронов локализовал утечку газа Рой дронов локализовал утечку газа

Рой дронов научили находить утечки газа в помещениях

N+1
Сундук Колчака за €3 млн и архив Луначарского: чем торгуют книжные антиквары Сундук Колчака за €3 млн и архив Луначарского: чем торгуют книжные антиквары

Как можно извлечь миллионы рублей из макулатуры, предназначенной на помойку

Forbes
Сын потратил $1800 в мобильной игре, и его отцу пришлось продать машину Сын потратил $1800 в мобильной игре, и его отцу пришлось продать машину

Оказывается, мобильные игры вредны не только для детей, но и для родителей

Psychologies
Личный опыт: как (не)надо осваивать триатлон и как выбирать экипировку Личный опыт: как (не)надо осваивать триатлон и как выбирать экипировку

Триатлон — спорт вполне доступный, с относительно невысоким порогом входа

Playboy
Физики объяснили, почему некоторые квантовые системы не достигают равновесия Физики объяснили, почему некоторые квантовые системы не достигают равновесия

В некоторых квантовых системах равновесие не достигается никогда

Популярная механика
5 правил безопасного секса для будущей мамы 5 правил безопасного секса для будущей мамы

Как сделать секс во время беременности безопасным для себя и малыша?

Psychologies
Политики, карьера которых закончилась следствием и судом Политики, карьера которых закончилась следствием и судом

Большая политика – это всегда игра с большими ставками

GQ
5 книг о великих музыкантах 5 книг о великих музыкантах

Подборка книг о великих музыкантах: от Боуи до Владислава Шпильмана

Популярная механика
8 эпических фейлов известных разработчиков игр 8 эпических фейлов известных разработчиков игр

Когда есть бесконечно много денег и энтузиазма — что может пойти не так?

Maxim
Открыть в приложении