Технологические аварии давно не редкость, но кто в них виноват?

Популярная механикаHi-Tech

Uber-сюрприз: “человеческий фактор” и аварии беспилотных автомобилей

Автор текста: Андрей Кузнецов

36493706b1df01a77abdcc042e919f2d.jpg
Waymo

Наша жизнь все больше насыщается технологиями. Технологические аварии давно не редкость. Как понимать эти события? Кто виноват? И что делать? Есть популярное объяснение аварий через отсылку к “человеческому фактору”. В этом материале мы покажем, что это объяснение не только ошибочное, но и вредное. Часто такие объяснения дают, чтобы ничего не делать, ничего не менять в политике технологий.

В противовес этому мы на примере беспилотных автомобилей предложим другой способ понимания технологических аварий.

Центр исследований науки и технологий Европейского университета в Санкт-Петербурге совместно с Факультетом технологического менеджмента и инноваций Университета ИТМО делает уникальную для России магистратуру “Технонаука и инновации”. В рамках этой образовательной программы мы готовим исследователей наук, технологий и инноваций, спрос на которых растет по мере технологизации нашей жизни. Мы учим думать о технологиях по-новому, по-современному, чтобы помочь сделать их не только чуть более надежными и эффективными, но и более справедливыми, устойчивыми и социально ориентированными.

Один из стандартных способов думать о технологиях – объяснять технологические аварии или поломки через отсылку к “человеческому фактору”. Ниже мы покажем, что этот механизм интерпретации аварий проблематичен и даже вреден. Чтобы сделать наши технологии лучше, мы должны от него отказаться.

Начнем с примера, показывающего, как выглядит объяснение аварий через “человеческий фактор” на практике.

“Человеческий фактор” в объяснении небольшого инцидента с Waymo в Сан-Франциско

Совсем недавно, 16 июня 2021, во время тестирования в Сан-Франциско беспилотный автомобиль Waymo сбил человека, пересекавшего пешеходный переход на электросамокате. Человек получил неизвестные повреждения мягких тканей тела и покинул место происшествия самостоятельно, у беспилотника слегка пострадала табличка с номером. Власти Калифорнии обязывают составлять протоколы всех происшествий с беспилотными автомобилями и делать их публичными.

Из протокола этого столкновения узнаем подробности. Автомобиль Waymo подъехал к перекрестку в беспилотном режиме, чтобы совершить поворот налево, и остановился на красный свет. Когда загорелся зеленый, автомобиль в беспилотном режиме чуть продвинулся на пешеходный переход, подготавливаясь поворачивать налево, но начал пропускать встречный транспорт и других участников движения. Тем временем загорелся желтый свет, а автомобиль Waymo все еще стоял, частично перекрывая перекресток и отказываясь поворачивать налево. В этот момент водитель-испытатель взял управление на себя и начал совершать поворот налево. Через 4 секунды, автомобиль Waymo, находясь в ручном режиме, на скорости 6 миль в час сбил человека на электросамокате, пересекавшего на скорости 7 миль в час пешеходный переход на красный свет как для транспорта, так и для пешеходов.

81777ea3c6f07c1d82eab60a267cbca2.jpg
ANDREI STANESCU/ALAMY

Это событие идеально для наших целей. С одной стороны, инцидент вряд ли бы освещался публично, если бы в нем не был замешан беспилотный автомобиль на стадии тестирования. С другой – обошлось без серьезных последствий, и в последующем обсуждении превалируют не ажиотаж и эмоции, а трезвые попытки понять, что же произошло. Вряд ли за данной мелкой аварией последует публичное расследование. Но в одном из сообществ на Reddit, посвященном беспилотным автомобилям, возникла небольшая, но интересная дискуссия. Трудно сказать, кем являются пользователи, участвующие в этой дискуссии. Только один из них заявляет о себе, как о бывшем водителе-испытателе. Но это не так важно как то, что дискуссия носит предметный и рациональный характер, никаких перепалок и холиваров. Люди действительно пытаются интерпретировать протокол-описание инцидента.

Что обсуждают члены сообщества Reddit?

Был ли водитель нетерпелив в этой ситуации? Нет, утверждает экс-водитель-испытатель Waymo, их обучают выводить автомобиль из беспилотного режима, когда того требует ситуация, как здесь. Был риск застрять на перекрестке и заблокировать его. Но из отчета ясно, что автомобиль не стоял посреди перекрестка, а лишь блокировал часть одного из переходов. Так что водитель мог подождать следующего зеленого сигнала светофора. Но экс-водитель-испытатель не сдается и предлагает не винить водителя в этом инциденте. Да, он принял неверное решение, но их работа связана с очень большим стрессом. Для одного из пользователей информация о том, чему обучают водителей-испытателей Waymo звучит как инсайт. Она позволяет понять, почему во всех отчетах об инцидентах с Waymo, их автомобили находятся в ручном, а не беспилотном режиме.

Кто виноват в столкновении - “компьютер” Waymo или водитель?

Пользователи дают несколько объяснений аварии через “человеческий фактор”, в которых именно человек, а не технологии виноваты в инциденте. Согласно одной версии, водитель неправильно оценил ситуацию. Он мог остаться на перекрестке на еще один цикл светофора, и ничего страшного не случилось бы. В другой версии выдвигается гипотеза, что сенсоры Waymo заметили электросамокат на тротуаре заранее, а алгоритмы предсказали его возможное поведение (проезд через переход на красный) и, вероятно, поэтому автомобиль не собирался поворачивать, даже когда у него появилась такая возможность. Водитель не понял этой “прозорливости” беспилотника, принял неверное решение и взял управление на себя. В еще одной версии ссылаются на неназванную книгу, написанную физиком, который разрабатывал системы безопасности для атомных реакторов. Основная мысль этой книги в том, что все аварии на атомных станциях случались в результате того, что люди нарушали протоколы безопасности, потому что ошибочно думали, что знают систему лучше.

Резюмируем: проблема, скорее всего, в водителе. Автоматика сделала правильный выбор. Все это говорит о том, что компьютер очень мало или вообще не способствовал возникновению этого инцидента. Waymo просто нужно исправить некоторые баги, которые иногда приводят [беспилотный автомобиль] к путанице или делают его слишком нерешительным.

Один из самых заплюсованных комментариев утверждает: “Это интересно, поскольку это тот случай, когда присутствие страховочного водителя делает его [беспилотный автомобиль] менее безопасным. Это может быть одним из ожидаемых знаков зрелости беспилотных автомобилей – страховочный водитель становится самым большим источником рисков в беспилотном автомобиле”.

На периферии дискуссии оказываются замечания о том, что если у Waymo действительно есть видео, доказывающее, что их технологии все делали правильно, а проблема именно в водителе, то почему они их не выложат?

Что показывает этот пример?

  • Даже в такой, с виду простой, ситуации вовсе не очевидно, что именно произошло. Требуется интеллектуальная работа, чтобы понять и объяснить аварию. В данном случае, ее провели пользователи Reddit.
  • Участники дискуссии несколькими разными способами пытались перенести вину за происшествие с “компьютеров” Waymo на водителя-испытателя. Эту схему интерпретации мы назвали "объяснением технологической аварии через человеческий фактор”. Единственная попытка оправдать водителя исходит от пользователя, непосредственно знакомого с подобными ситуациями изнутри.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стоит ли бояться применения искусственного интеллекта в медицинской диагностике Стоит ли бояться применения искусственного интеллекта в медицинской диагностике

Что такое ИИ и как он применяется в медицинской диагностике?

Популярная механика
Багира промахнулась. Почему танк «Пантера» не оправдал ожиданий Багира промахнулась. Почему танк «Пантера» не оправдал ожиданий

Когда теория не подтверждается практикой

Maxim
11 новых неприличных для уха слов, которые на самом деле абсолютно приличны 11 новых неприличных для уха слов, которые на самом деле абсолютно приличны

Не знать смысла этих слов — вот это неприлично!

Maxim
10 эффективных способов избавиться от храпа 10 эффективных способов избавиться от храпа

Храп — проблема, из-за которой можно проснуться разбитым и чувствовать усталость

РБК
У блокады женское лицо: пронзительные воспоминания жительниц Ленинграда У блокады женское лицо: пронзительные воспоминания жительниц Ленинграда

Истории женщин, переживших чудовищное время блокады

Cosmopolitan
От Гарри Поттера до пукающего трупа: как сложилась карьера Дэниэла Рэдклиффа От Гарри Поттера до пукающего трупа: как сложилась карьера Дэниэла Рэдклиффа

Дэниэл Рэдклифф: война с Гарри Поттером, какие фильмы нравятся ему самому?

Cosmopolitan
Смерти нет: ВИЧ-диссиденты, которые не верят в существование СПИДа Смерти нет: ВИЧ-диссиденты, которые не верят в существование СПИДа

Кто такие ВИЧ-диссиденты?

Cosmopolitan
10 книг, чтобы начать разбираться в психологии 10 книг, чтобы начать разбираться в психологии

Читать мысли эти книги вас не научат, но помогут разобраться в психике

РБК
Никогда такого не было Никогда такого не было

Самый большой неатомный ледокол России может крутиться на месте

Популярная механика
Секс с бывшей: как сделать, чтобы он не стал последним Секс с бывшей: как сделать, чтобы он не стал последним

Как этично заниматься сексом с бывшей девушкой?

Maxim
Личная жизнь звезд фильма «Время первых»: Миронова, Хабенского, Пановой и других Личная жизнь звезд фильма «Время первых»: Миронова, Хабенского, Пановой и других

Рассказываем о личной жизни артистов, сыгравших легендарных личностей в кино

Cosmopolitan
Hyundai Santa Fe. Стоило ли так торопиться? Hyundai Santa Fe. Стоило ли так торопиться?

Предыдущий Santa Fe прожил на конвейере ровно три года

4x4 Club
Почему мы просыпаемся голодными? Отвечает эксперт Почему мы просыпаемся голодными? Отвечает эксперт

Стоит ли беспокоиться об утреннем урчании живота?

Playboy
Вальтер Скотт. Последний рыцарь Вальтер Скотт. Последний рыцарь

Неунывающий шотландец Вальтер Скотт

Караван историй
В вашем возрасте уже пора! Какие процедуры нам навязывают салоны красоты В вашем возрасте уже пора! Какие процедуры нам навязывают салоны красоты

Нужны ли нам косметические процедуры против старения?

Cosmopolitan
Время для нового старта: о чем стоит задуматься в 35 лет? Время для нового старта: о чем стоит задуматься в 35 лет?

35 лет — подходящий момент, чтобы понять, как начать жить лучше

Psychologies
Без чувств: как ребенок с алекситимией видит мир, в котором все подчинено эмоциям. Глава книги Сон Вон Пхён Без чувств: как ребенок с алекситимией видит мир, в котором все подчинено эмоциям. Глава книги Сон Вон Пхён

Отрывок из истории Сон Вон Пхёна — нежной истории об одиночестве и дружбе

Esquire
13 фильмов, снятых по мотивам книг 13 фильмов, снятых по мотивам книг

Лучшие экранизации, которые мы советуем посмотреть

GQ
Катерина Кузнецова: Мне не больно, я не скучаю Катерина Кузнецова: Мне не больно, я не скучаю

Рассказ «Графские похороны» о потере, который хочется перечитывать снова и снова

СНОБ
Копировала идеи и изводила сотрудников, но подняла рынки вне США: разбор «фабрики стартапов» Rocket Internet Копировала идеи и изводила сотрудников, но подняла рынки вне США: разбор «фабрики стартапов» Rocket Internet

Rocket Internet создала сотни рабочих мест и привлекла внимание к рынкам

VC.RU
Широкие натуры: 5 самых щедрых мужчин по знаку зодиака Широкие натуры: 5 самых щедрых мужчин по знаку зодиака

Мужчин каких знаков точно нельзя назвать скрягами. Лови наш топ-5

VOICE
«Возрастная дальнозоркость»: как с ней бороться? «Возрастная дальнозоркость»: как с ней бороться?

Пресбиопия — почему она начинается после 40 лет и как с ней жить?

Psychologies
Срочно к врачу: 7 симптомов, с которыми лучше не шутить Срочно к врачу: 7 симптомов, с которыми лучше не шутить

Эти симптомы только кажутся незначительными

Cosmopolitan
История одной встречи Безоса и Маска: Blue Origin хотела искать ресурсы, а SpaceX — поскорее колонизировать Марс История одной встречи Безоса и Маска: Blue Origin хотела искать ресурсы, а SpaceX — поскорее колонизировать Марс

Безос не слушал Маска. Последнему удалось запустить ракету на семь лет раньше

VC.RU
Миноискатель, амфибия и «Рюрик»: самые необычные версии УАЗ-469 Миноискатель, амфибия и «Рюрик»: самые необычные версии УАЗ-469

Невероятные модификации легендарного советского внедорожника УАЗ

РБК
Джеки отправились в Узбекистан в ответ на рост температур в местах зимовки Джеки отправились в Узбекистан в ответ на рост температур в местах зимовки

Эта стратегия позволяет Джеки возвращаться к местам размножения в нужные сроки

N+1
Мелатонин для сна: подходит не всем и может навредить Мелатонин для сна: подходит не всем и может навредить

Как правильно принимать мелатонин и как это делать, чтобы не навредить здоровью

Cosmopolitan
От комплиментов до преследований и проституции. Как сервис «‎Авито» стал сайтом для харассеров, секс-рекрутеров и сталкеров От комплиментов до преследований и проституции. Как сервис «‎Авито» стал сайтом для харассеров, секс-рекрутеров и сталкеров

Может ли простое объявление о поиске подработки привлечь секс-рекрутеров?

СНОБ
Поляризованный свет привлек к воде зараженных волосатиками богомолов Поляризованный свет привлек к воде зараженных волосатиками богомолов

Ученые впервые объяснили, почему зараженные насекомые стремятся к воде

N+1
Семейное дело. 5 привычек, которые научат ребенка бережно относиться к природе Семейное дело. 5 привычек, которые научат ребенка бережно относиться к природе

Советы, которые помогут увлечь ребенка заботой об экологии

СНОБ
Открыть в приложении