КАК ОБРАЩАЮТСЯ С ЭТИЧЕСКИМИ ВОПРОСАМИ В РОССИЙСКОМ
ПУБЛИЧНОМ ДИСКУРСЕ О БЕСПИЛОТНЫХ АВТОМОБИЛЯХ
Л.В. Земнухова
l.zemnukhova@gmail.com | к. социол. н., научный сотрудник Центра исследований нау-
ки и технологий | Европейский университет в Санкт-Петербурге (ул. Гагаринская 6/1a,
Санкт-Петербург, 191187, Россия) | старший научный сотрудник | Социологический
институт РАН - филиал ФНИСЦ РАН (ул. Кржижановского 24/35, корп. 5, Москва,
117218, Россия)
Ключевые слова
беспилотные автомобили, этика искусственного интеллекта, исследования науки и тех-
нологий, социальное конструирование технологий, алгоэтика
Аннотация
Работа беспилотного автомобиля не ограничивается наборами правил дорожного дви-
жения, аппаратным и программным обеспечением. Это гетерогенная технология, в соз-
дании которой участвует множество релевантных групп: компании-разработчики, ре-
гуляторы, общественные организации, медиа и публика. Все эти акторы придают свои
смыслы как самой технологии, так и ключевым проблемам, связанным с ее разработ-
кой. В этой статье я фокусируюсь на этических вопросах, связанных с беспилотными
автомобилями. На материалах российских СМИ и публичных интервью я изучаю то, в
каких контекстах эта тема возникает, как на нее реагируют разные участники и на что
они опираются. В результате я выделяю философскую, нормативную и социотехниче-
скую перспективы на этические вопросы в российском публичном дискурсе.
Информация о финансовой поддержке
еспилотный автомобиль (далее - БА) в ходе тестирования сложно пере-
путать с привычной машиной. На нем достаточно опознавательных зна-
Б
ков: он оснащен дополнительным оборудованием, которое установлено на
крыше кузова, а также камерами на передней или задней его частях. Вся эта ос-
настка создает образ узнаваемой технологии, которая отличается от остальных
Статья поступила 11.11.2021 | Окончательный вариант принят к публикации 20.01.2022
Ссылки для цитирования на кириллице / латинице (Chicago Manual of Style, Author-Date):
Земнухова Л.В. Как обращаются с этическими вопросами в российском публичном дис-
курсе о беспилотных автомобилях // Этнографическое обозрение.
2022.
№ 1. С. 68-83.
Zemnukhova, L.V.
2022. Kak obrashchaiutsia s eticheskimi voprosami v rossiiskom
publichnom diskurse o bespilotnykh avtomobiliakh [How Ethical Issues are Dealt with in the
Russian Public Discourse on Autonomous Vehicles]. Etnograficheskoe obozrenie 1: 68-83.
© Российская академия наук | © Институт этнологии и антропологии РАН
Земнухова Л.В. Как обращаются с этическими вопросами в российском публичном...
69
и поэтому БА может вести себя не как обычный автомобиль. И действительно
БА ездит чуть медленнее, стартует и тормозит плавнее, реагирует на знаки и
разметку, пропускает пешеходов; иными словами, он строго соблюдает правила
дорожного движения.
Тем не менее БА также попадают в аварии. Самая обсуждаемая авария с
летальным исходом произошла с Uber в марте 2018 г. в Аризоне (Wakabayashi
2018). А в августе 2021 г. в Токио БА Toyota сбил слабовидящего паралимпийца
(Shivdas, Kelly 2021). Каждый подобный случай подробно разбирается. Кто и
что виноват(о) и почему? Кто несет ответственность за последствия? Кажет-
ся, что аварии с человекоуправляемыми автомобилями не вызывают этических
вопросов и строго ориентированы на правила дорожного движения (далее -
ПДД), но это не так. БА усиливают проблематичность решения спорных ситуа-
ций. Происходит это по крайней мере по трем причинам.
Во-первых, ПДД кажутся понятной системой, где можно найти все разно-
образие дорожных ситуаций, чтобы обученный на них БА мог относительно
легко вписаться в социальные взаимодействия на дорогах. Однако с виду про-
зрачная и формальная система ПДД обрастает неформальными практиками и
ситуативными договоренностями (Vinkhuyzen, Cefkin 2016), которым БА пока не
обучаются. Неясно, каким правилам они должны подчиняться, на каких данных
должны обучаться алгоритмы, и как можно регламентировать автономность
(Stayton et al. 2017).
Во-вторых, аппаратное и программное обеспечения БА являются источ-
никами и новых возможностей, и новых проблем. Сенсоры, камеры, радары,
хотя и связаны в общую сеть, все же представляют собой источники потенци-
альных сбоев (Lee 2018). Помимо аппаратных “багов”, сложностей добавля-
ют технологии машинного обучения и нейросетей, которые, в свою очередь,
характеризуются непрозрачностью (Seaver 2017; Christin 2020; Кузнецов
2020). Эта проблематика находит отражение в сфере этики алгоритмов (или
алгоэтики).
В-третьих, развитие БА также рассматривается как масштабная пере-
стройка системы мобильности со своими социальными последствиями
(Bissell et al. 2018). Исследователи по-разному проводят границу между
этичным и неэтичным. Например, Роберт Спэрроу и Марк Ховард предлага-
ют выпускать БА на общественные дороги после того, как они станут безо-
паснее обычного (среднего) водителя, а государство в это же время должно
сокращать количество людей за рулем (Sparrow, Howard 2017). Пока такая
идея кажется утопичной и не помогает понять, можно ли сделать технологию
БА этичной. Далее исследователи предлагают сконцентрироваться на таких
этических (и политических) аспектах, как психологические и социальные
последствия распространения дорогостоящей технологии, социальная спра-
ведливость и невидимые привилегии, а также приватизация общественных
пространств (Sparrow, Howard 2020). То есть беспилотная мобильность в це-
лом рассматривается как экономический проект, следствия которого обостря-
ют общественные проблемы.
Таким образом, этические вопросы разработки БА возникают на пересече-
нии трех полей - исследований регулирования, алгоэтики и социальных по-
следствий. Что значит “этические вопросы”? Под этим выражением я понимаю
дискуссию о социально приемлемом поведении БА, которая включает фило-
софские размышления, нормативные представления и попытки найти социо-
технический баланс. Как этические вопросы выражаются в российском кон-
тексте разработки БА? Кто и как с ними обращается в российском публичном
дискурсе? В данной статье я исследую эти вопросы. Для этого я сначала пред-
70
Этнографическое обозрение № 1, 2022
ставлю беспилотные автомобили как гетерогенную технологию с точки зрения
контекстов и участников, которые привносят свои смыслы в вопросы этики БА.
Далее речь пойдет о трех перспективах на этическую проблематику, которые
можно наблюдать в российском контексте.
Гетерогенные беспилотные автомобили
Работа БА не ограничивается наборами правил, алгоритмов или сценари-
ев, а тесно переплетается с непредсказуемыми и неопределенными обстоятель-
ствами и контекстами. Об этом нам говорят исследования наук и технологий
(Science and Technology Studies, далее - STS). Чтобы подчеркнуть тесную взаи-
мосвязь действий человеческих и нечеловеческих акторов через развитие кон-
цепции гетерогенности, STS вводят понятие социотехнического (Bijker 1995).
В случае с БА эти сети или ансамбли (Bijker 1993) акторов подчеркивают слож-
ность не только самой технологии, но и социотехнических ситуаций, в которых
он оказывается. Практики создания и распространение технологий глубоко уко-
ренены не только в инженерных традициях, но и в экономических, професси-
ональных, политических, культурных и других реальностях (Bijker, Law 1992).
То есть инженерные решения принимаются (даже если не артикулируются) с
учетом многообразия контекстов и тех релевантных групп, которые привносят
свои смыслы в одну и ту же технологию.
Кто занимается конструированием БА и кто участвует в обсуждении эти-
ческих вопросов? БА - это комплексная технология с разветвленной картой
участников (Lipson, Kurman 2016). Компании-разработчики, исследовательские
лаборатории, регуляторы, институты развития, медиа придают свои смыслы
как самой технологии, так и ключевым проблемам, связанным с ее разработкой.
Рассмотрим каждую из этих релевантных социальных групп, чтобы далее ре-
конструировать перспективы на обсуждение этических вопросов.
Компании-разработчики. Основными участниками разработки БА явля-
ются крупные технологические и автопромышленные компании. В России это
“Яндекс”, “Иннополис”, “СтарЛайн”, “КамАЗ”, а также ряд других команд и
стартапов. Внутри компаний, кроме разработчиков, задействованы дизайнеры,
менеджеры, исследователи, испытатели. В ходе разработки постоянно возни-
кают и принимаются (или откладываются) инженерные и управленческие ре-
шения, которые потом пересматриваются, конфликтуют и соревнуются между
собой, перепридумываются, отклоняются1.
Разработка БА сталкивается с определенными дилеммами при принятии
решений как в повседневном взаимодействии, так и в процессе алгоритмиза-
ции работы БА. Исследования, посвященные пользователям, показывают ак-
тивное участие не-разработчиков в распространении технологий (Oudshoorn,
Pinch 2003). Так, например, дополнительные датчики и камеры на кузове БА
заставляют других участников дорожного движения вести себя иначе по от-
ношению к нему. Немногие понимают, как именно работает беспилотный
автомобиль, что он “(не) видит”, как он будет вести себя в той или иной си-
туации. Поэтому мы, скорее всего, будем наблюдать настороженное отноше-
ние со стороны других водителей, пешеходов, пассажиров. На этапе тестиро-
вания технологии на публичных дорогах под движение БА подстраиваются
человеческие акторы - предотвращая или создавая трудности для непредска-
зуемого БА.
Регуляторы. Одна из попыток управлять неопределенностями развития
БА как технологии заключается в том, чтобы сформировать нормативные ме-
ханизмы, которые бы могли регламентировать появление беспилотников и
Земнухова Л.В. Как обращаются с этическими вопросами в российском публичном...
71
их участие в публичных взаимодействиях. Есть ряд инициатив, направлен-
ных на прямое или косвенное регулирование БА. В России эти инициативы
исходят от институтов развития и таких окологосударственных акторов, как
Научно-техническая инициатива (НТИ), Центр стратегических разработок
или Сбербанк. Последний участвует в создании “Концепции развития регу-
лирования отношений в сфере технологий искусственного интеллекта и ро-
бототехники на период до 2024 года”, а также в разработке БА подразделе-
нием СберАвтоТех. Однако унификация на уровне законодательства требует
технической определенности, чего нет в случае с только разрабатываемыми
и тестируемыми инновациями.
Медиа, общественные организации и публика. В формировании повестки
разработки БА участвуют также общественные организации (напр., Россий-
ская академия транспорта) и СМИ. Они инициируют публичные обсуждения,
экспертные сессии, размещают интервью и таким образом влияют на форми-
рование общественного мнения по поводу БА. Именно они оказываются глав-
ными “поставщиками” проблем распространения БА. Особенно острые дебаты
идут по этическим вопросам. Подробнее мы поговорим об этом в следующем
разделе.
Вместе все эти акторы и придают смысл развивающейся технологии БА.
Релевантные группы делают БА гетерогенными, помещая их в разные контек-
сты - политический, правовой, технический, культурный. Во многом эти смыс-
лы определяются через обсуждение вопросов этичности этой разработки. По-
скольку обсуждения происходят в публичном пространстве, то и сами они, и
интервью исследователей и журналистов становятся доступны для цифровой
этнографии. Далее на материалах российских СМИ и публичных интервью я
покажу, как обращаются с вопросами этики БА разные акторы, в каких контек-
стах эта тема возникает, как на нее реагируют разные участники и на что они
опираются.
Как обсуждают этические вопросы?
Философская, нормативная, социотехническая перспективы
Первым шагом в полноценном антропологическом исследовании может
стать изучение публичного дискурса, который и отражает деятельность акто-
ров, и оказывает на них влияние. Исходя из выделенных выше релевантных
групп, можно было бы определить взгляды их представителей на решение эти-
ческих вопросов, однако я пойду несколько иным путем и покажу, вокруг каких
перспектив происходят основные открытые обсуждения, в которых участвуют
все эти акторы.
В русскоязычном публичном пространстве можно выделить три основные
перспективы на этику БА: философскую, нормативную и социотехническую.
Философская перспектива предполагает не поиск решения моральных вопро-
сов, а использование философских категорий для обсуждения этики. Норма-
тивная - приравнивает решение этических вопросов к созданию регуляторных
механизмов. Социотехническая - тесно связана с алгоэтикой и подразумевает
итеративность в разработке этичных БА. Рассмотрим каждую из этих перспек-
тив подробнее. Сразу стоит оговориться, что одни и те же люди в разных кон-
текстах могут представлять разные, иногда смешанные перспективы.
Философская перспектива: дилемма вагонетки. Одна из самых извест-
ных попыток найти этические решения для БА - это тест “Моральная машина”
(Moral Machine n.d.), созданный международной командой на базе медиа-ла-
боратории Массачусетского технологического университета. Тест представляет
72
Этнографическое обозрение № 1, 2022
собой набор критических ситуаций, в каждой из которых пользователь должен
принять решение за БА, т.е. определить его поведение. На изображениях ситу-
аций есть только два варианта: сбить кого-то на пешеходном переходе или под-
вергнуть риску пассажиров в БА. Причем пешеходы и пассажиры (как люди,
так и животные) наделяются разнообразными характеристиками - полом, воз-
растом, статусом, занятием, - которые должны каким-то образом влиять на ре-
шение пользователя.
Однако этот тест регулярно подвергается критике. Во-первых, его рассма-
тривают как способ перекладывания ответственности с разработчиков на поль-
зователей. Во-вторых, в нем заложена глубоко ошибочная идея вычислитель-
ного социального выбора, которая значительно сужает спектр и возможности
решения этических вопросов в разработке беспилотных автомобилей (Hubert
2021). В-третьих, тест - особенно если его результаты принимаются некрити-
чески - имеет далеко идущие последствия, которые влияют на формирование
общественного мнения. Так, например, в 2018 г. были опубликованы резуль-
таты сбора и анализа данных проекта “Моральная машина” - отчет показал
культурные различия в ответах на вопросы теста (Awad et al. 2018). Российские
СМИ подхватили эту новость и добавили алармизма в тему разработки беспи-
лотных автомобилей. Если проанализировать русскоязычные медиаматериалы
по поводу этики БА, то практически в каждом из них мы обнаружим эмоцио-
нально окрашенные отсылки к дилемме вагонетки в ее различных вариациях.
Это демонстрируют обе волны публикаций: и в 2015 г., когда сайт “Моральная
машина” только запустился, и в 2018 г., когда стала доступна первая аналитика.
Атмосферу алармизма легко передают сенсационные заголовки: “Запрограм-
мировать беспилотники, чтобы убивать” (Котляр 2015), “Моральные проблемы
беспилотных автомобилей не имеют универсального решения” (Марков 2018),
“Психологи научат беспилотники правильно давить пешеходов” (Молотилин
2015). Подобный дискурс также сужает спектр этических вопросов, сводя их к
нерешаемым моральным дилеммам, в то время как исследовательское сообще-
ство разрабатывает альтернативные подходы к их решению.
Публичные выступления российских разработчиков демонстрируют свои
способы обращения с таким подходом к решению этических вопросов. Один из
вариантов - объявить беспилотные автомобили зоной, свободной от этических
вопросов вообще, как это предлагает разработчик из “Яндекса”: “Суть беспи-
лотной технологии как раз в том, чтобы у машин не возникало морального вы-
бора: они оборудованы огромным количеством электроники, сенсоров, камер и
поэтому избегают ситуаций, свойственных водителю из-за его ограничений в
восприятии и реакции” (Кантышев 2018).
В этой перспективе предполагается, что БА могут вовсе не сталкиваться с
ситуациями, где необходимо принимать необычные, выходящие за пределы ру-
тинных решений. Или же что в тот момент, когда БА окажутся на дорогах, все
другие участники дорожного движения будут вести себя всегда предсказуемо и
дисциплинированно, поскольку этические вопросы останутся уделом человече-
ского поведения. В экстренном случае ставка делается на быструю скорость ре-
акции и математическую точность решений, как подчеркивал руководитель Ла-
боратории автономных транспортных средств Центра технологий компонентов
робототехники и мехатроники Университета Иннополис Салимжан Гафуров:
Наибольшие сомнения вызывают этические проблемы: насколько оправданное решение
примет беспилотник в безальтернативной ситуации, например, когда аварии не избе-
жать. В память сервера заложено огромное количество сценариев дорожных ситуаций.
Искусственный интеллект за сотые доли секунды перебирает их все и с математической
точностью выбирает вариант с наименьшими потерями (Кушнир 2020).
Земнухова Л.В. Как обращаются с этическими вопросами в российском публичном...
73
Базовое допущение такого сценария: в алгоритме можно будет учесть ме-
трики, ответственные за тот или иной набор ценностей или ориентиров, лежа-
щий в основе будущего поведения БА. Такой подход кажется мне малообосно-
ванным, поскольку заменяет собой поиск решения ключевых вопросов: кто и за
что отвечает? как принимаются решения? кто окажется за бортом алгоритмов?
Вот как рассуждает Гафуров:
Беспилотник руководствуется этикой, которую в него заложил производитель. В за-
висимости от того, что заложишь, то и будет делать беспилотник. Он не делает вы-
бора на свое усмотрение в традиционном, человеческом понимании. Можно точно
предсказать то, что он будет делать, в отличие от людей. Ему можно доверять в этом
вопросе (ProKazan 2020).
Здесь мы сталкиваемся с набором проблем, о которых говорят исследо-
ватели алгоэтики. Исследования предвзятостей в алгоритмах, сложностей их
обучения, модерирования, вскрытия черных ящиков (Christin 2020; Seaver
2017) дополняются теперь критическим разбором основных понятий, вокруг
которых выстраиваются требования к открытости, прозрачности, разнообра-
зию (Ananny, Crawford 2018). А самой радикальной представляется попытка
делегировать пользователям выбор морального порядка. Гафуров говорит об
этом так:
Автопроизводители могут предлагать покупателям “автомобиль-эгоист” и “автомо-
биль-альтруист”, или можно соединить эти функции - водитель будет сам выбирать
режим перед поездкой. <…> Мне кажется разумным перенести разумные философ-
ские взгляды на язык C++. Необходимо четко и обоснованно сформировать этику на
дорогах - разработать метрики и создать техническую прогнозируемую систему с
математическими ожиданиями (Этическая философия 2020).
Общая стратегия разработчиков в этом вопросе кажется негативистской:
моральных вопросов не будет - они будут нерелевантны для БА, задача лишь
в том, чтобы минимизировать риск. Но за такой позицией скрывается непо-
нимание того, что универсальные метрики и критерии при столкновении с
реальными ситуациями на дорогах могут привести к еще более непредска-
зуемым сбоям и вовсе лишить систему возможности адаптироваться к по-
стоянно изменяющимся обстоятельствам. Приведу показательную цитату из
интервью руководителя департамента беспилотных транспортных средств
российской компании Cognitive Technologies Юрия Минкина: “Моральная
дилемма для беспилотника будет редчайшим случаем. У самого автомоби-
ля морали нет, конечно, он действует по заданным ему критериям. И в дан-
ном случае это должен быть критерий минимизации ущерба. Как оценивать
ущерб, чтобы его минимизировать, - тонкий момент” (Береснева 2016).
Но остается вопрос: что поддается калькуляции и оценке рисков и как
это можно просчитать? По этому поводу некоторые исследователи сходятся
во мнении, что фокусирование на предотвращении рисков может оказаться
действенной стратегией решения этических вопросов (Nyholm 2018a, 2018b;
Christin 2020). Однако метрики, разработанные для одних контекстов, совсем
не обязательно будут релевантны для других, поскольку они могут опираться
на иные представления. Философы и социальные исследователи сформули-
ровали множество этических систем, в основе которых лежат разные, часто
противоречивые ценности (см., напр., обзор: Nyholm 2018a). В разных регу-
ляторных инициативах можно найти отличающиеся ориентиры: приоритет
человеческой жизни, ценность культурных свобод, эгоистические побужде-
ния, добродетель, социальный контракт. В российском контексте пока доми-
74
Этнографическое обозрение № 1, 2022
нирует логика, где все подчинено максимальной рациональности и расчету.
Она ближе всего к возможностям регулирования.
Нормативная перспектива: как регулировать этику. Нормативистское
представление о том, на что должны ориентироваться разработчики в дизайне
и создании БА, остается доминирующим, поскольку обещает определенность.
В данном случае ориентиром становятся ПДД, которые определяют базовые
ограничения для автономного транспорта. Вот что говорит Минкин:
Есть действующие правила дорожного движения, и мы программируем в их рамках. На-
пример, машина не должна выезжать на встречку. Чтобы, объезжая котенка, мы не вреза-
лись в автобус и не убили 50 детей. По правилам в случае опасности нужно тормозить, и
именно это наши беспилотники должны делать на данном этапе. Мы не можем нарушать
действующие правила (Береснева 2016).
Разработчики руководствуются главной логикой ПДД - обеспечением
безопасной среды: БА должен строго следовать традиционным правилам и
не создавать аварийных ситуаций. Но, как показывают социальные исследо-
ватели, особенно антропологи дорожного движения, водители регулярно соз-
дают свои неформальные правила, чтобы сделать ситуацию на дороге более
комфортной и удобной, даже если это расходится с официальными правила-
ми (Vinkhuyzen, Cefkin 2016). Внутри ПДД можно найти как очень строгие
и жесткие ограничения, так и более мягкие, основанные на коммуникации
и общих смыслах. Водители ежедневно занимаются микроменеджментом,
чтобы оптимизировать свой путь и затраты на него. Проезд на мигающий
зеленый или даже желтый сигнал, перестроение на более быструю полосу,
объезд учебного автомобиля, парковка в не совсем положенном месте (вто-
рым рядом на “аварийке” на короткий срок) и множество иных подобных
ситуаций создают неформальную культуру вождения, не всегда соответству-
ющую ПДД. Какие-то из этих практик можно зафиксировать в алгоритмах,
но какие-то будут постоянно возникать ad hoс и не смогут быть учтены в
строгих нормативных схемах.
Обсуждение регуляторной политики в отношении БА происходит с уче-
том существующих этических рекомендаций в других странах. Следующим
громким сюжетом после статьи о тесте “Моральная машина” стал результат
деятельности “Этической комиссии в области автономного вождения” (Ethics
Commission Automated and Connected Driving) в Германии. В рекомендациях,
выпущенных в 2017 г., явным образом постулируется безопасность участ-
ников дорожного движения в качестве основной цели (Ethics Commission
2017). Первичной остается защита индивидов (и только потом животных и
собственности), которые, в свою очередь, несут ответственность за свои дей-
ствия. При этом важной задачей становится поиск баланса между личной
свободой человека и безопасностью других. Комиссия признает, что в ал-
горитмы нельзя встроить решения непредсказуемых ситуаций, но при этом
автомобили должны быть запрограммированы так, чтобы минимизировать
риски в отношении других участников дорожного движения, особенно уязви-
мых пешеходов (хотя любая дискриминация должна быть пресечена). Наиме-
нее разработанный пункт касается распределения ответственности за исходы
событий - ее могут нести как производители и операторы, так и чиновники
и политики. Для принятия решений постфактум предлагается документиро-
вать логи.
Эти рекомендации вызвали большой резонанс в русскоязычном дискурсе.
С одной стороны, тот факт, что Германия попыталась сформулировать базовые
принципы для разработки БА, заставляет все больше обсуждать эти вопросы
Земнухова Л.В. Как обращаются с этическими вопросами в российском публичном...
75
применительно к российскому контексту. С другой стороны, эти принципы но-
сят рекомендательный характер, а также содержат достаточно неопределенно-
стей, чтобы сразу принимать их в качестве ключевых ориентиров. В отношении
решения этических вопросов БА в России наблюдается несколько позиций, ко-
торые возникают на фоне экспериментальных правовых режимов, созданных
специально для формирования регуляторной политики в сфере развития БА.
Руководитель направления “Правовое развитие” Центра стратегических разра-
боток Максим Башкатов высказался так:
Я безусловно против, чтобы робосистемы в целом обучались этическим нормам - это
абсолютно ненаучно. Если обучать роботов этике, тогда во всех странах, в том числе
России, должны принять закон, обязывающий граждан определенным образом подчи-
няться этическим нормам. Право не должно регулировать вопросы этики применительно
к конкретным субъектам права - это не догматично, это станет механизмом для оправда-
ния изменений общих условий ответственности (В России на время… 2021).
Здесь происходит жесткое разграничение правовых и этических аспек-
тов, где все должно подчиняться только логике ПДД в ущерб неформальным
практикам. Это невозможно, поскольку далеко не всегда понятно, где про-
ходит эта граница. Более того, если нормативный подход подразумевает со-
ответствие технологии существующей норме, то это означает ограничения
для инноваций, потому что с новыми технологиями приходят новые нормы
(Eriksson 2017). В этом контексте понятны и опасения разработчиков, кото-
рые настороженно относятся к идее централизованного регулирования. Га-
фуров, например, замечает: “Можно отдать принятие решения государству,
где законодатели будут приоритизировать общее, что наложит негласное
вето на всю беспилотную отрасль. В таком случае технологию беспилотного
автомобиля не примут, и люди откажутся от нее в целом” (Этическая фило-
софия 2020).
На мой взгляд, речь должна идти не об обучении алгоритмов этическим нор-
мам, а о том, как сделать взаимодействие разных участников дорожного движе-
ния согласованным и непротиворечивым. Как и в рекомендациях немецкой Эти-
ческой комиссии, ответственность оказывается ключевой проблемной точкой
в обсуждении этики в контексте разработки нормативного регулирования БА.
Вот что об этом говорит Ксения Шашкина - руководитель лаборатории Центра
компетенций НТИ по направлению “Технологии компонентов робототехники и
мехатроники” на базе Университета Иннополис:
Сейчас разработчики сталкиваются с определенными вызовами, особенно, с необходи-
мостью изменения нормативной базы. Правила дорожного движения, авиасообщения,
речного движения завязаны на ответственности людей - ответственности пилотов, води-
телей и владельцев в целом. В данный момент нормативная база должна глобально пе-
ресматриваться, чтобы в ней предусматривалось, что беспилотные роботы - участники
движения (Ответственность водителя 2021).
Пересмотр ПДД в действительности начинает входить все прочнее в по-
вестку регуляторов БА, особенно с учетом актуализации этических аспектов.
Этим же вопросом занимается Еврокомиссия в рамках разработки документа
“Этика подключенных и автоматизированных транспортных средств”, кото-
рый формулирует рекомендации по обеспечению безопасности дорожного
движения, конфиденциальности, справедливости, подотчетности и ответ-
ственности (Horizon 2020). Сейчас аргументы в обсуждении этических аспек-
тов разработки технологий вообще и БА в частности черпаются из самых
разных источников - это не только государственные и международные, но и
76
Этнографическое обозрение № 1, 2022
общественные и академические (исследовательские) проекты, посвященные
этичному дизайну, практике этики, интеграции этики в технологии на разных
этапах и предотвращению рисков (Reijers, Coeckelbergh 2020).
Нормативная перспектива оказывается самой востребованной и для раз-
работчиков, и для регуляторов, и даже для медиа, поскольку она предполага-
ет относительную определенность в обращении с этическими вопросами. На
практике обсуждение этических вопросов наиболее активно происходит в сфе-
ре искусственного интеллекта, который также является частью БА. Принятые
в разных странах этические рекомендации поддерживают общие принципы и
ориентиры, такие как честность, прозрачность, объяснимость, подотчетность.
Однако с точки зрения критических исследований технологий эти категории
сами вызывают вопросы. В обсуждении этой перспективы следующим шагом
могла бы быть проблематизация базовых понятий, на которые опираются раз-
работчики этих документов и концепции. Например, это убедительно делают
социальные исследователи технологий, подвергая тщательному критическому
разбору ключевые понятия этического дискурса, такие как подотчетность или
прозрачность, и показывая ограничения их использования в качестве основных
ориентиров для выработки этических решений (Ananny, Crawford 2016; Neyland
2015). Отчасти это выражено в третьей перспективе, которую я назвала социо-
технической.
Социотехническая перспектива: поиск сбалансированных решений. Со-
циотехнический подход к рассмотрению этических вопросов представляет со-
бой итеративный процесс, в котором участники ориентируются не на готовые
решения моральных машин или на регуляторные рамки, а на повседневную
практику, с которой сталкиваются сами разработчики.
В видеоролике тестового заезда беспилотного автомобиля от “Яндекса”
можно видеть, что БА едет и спокойно справляется с ситуацией на дороге,
пока не встречается с нарушением: на участке с однополосным движением и
сплошной линией разметки стоит припаркованный на “аварийке” автомобиль
(Wylsacom 2018). Ситуацию комментирует руководитель направления беспи-
лотных автомобилей Дмитрий Полищук, он объясняет ее так: “Мы не поедем,
потому что мы нарушим правила. Робот не поедет”. В этот момент водитель-ис-
пытатель берет управление на себя, объезжает препятствие (нарушая прави-
ла) и возвращает управление машине. Дополнительно Полищук рассуждает о
взаимодействии на дорогах: “Все закручено таким образом, что машина очень
деликатно себя ведет. Если она сомневается, то она постоит… Есть ПДД, а есть
социальные правила поведения на дороге… И тут, конечно, какая бы и кем бы
система ни была разработана, потребуется адаптация под социальные правила”
(Там же).
Здесь наблюдается работающий баланс между “автономностью” техноло-
гии, которая способна самостоятельно передвигаться по городу в штатном ре-
жиме, и “социальностью” водителя-испытателя, который разрешает сложные
для БА ситуации. Спустя три года, кажется, что у “Яндекса” могло накопиться
больше опыта решения внештатных ситуаций благодаря постоянному тестиро-
ванию на реальных городских улицах. В этом видео показана основная граница
ответственности БА. Вот как об этике рассуждает другой инженер из команды
“Яндекса” Борис Янгель:
Во-первых, решение этических дилемм в экстремальных ситуациях немного противоре-
чит ПДД. То есть, в такой ситуации нужно тормозить в пол. И это буквально написано
в правилах. И это как бы очень адекватно. Во-вторых, мы придерживаемся такой фило-
софии, что вообще не надо попадать в такие ситуации. То есть, если мы в нее попали,
то будем тормозить в пол. Но это должно что-то радикально пойти не так. Если мы туда
Земнухова Л.В. Как обращаются с этическими вопросами в российском публичном...
77
попадем. И, наконец, третья причина, почему я тут снимаю полностью ответственность
с ML-инженеров. Потому что вот эти экстремальные ситуации, когда нужно действи-
тельно пытаться понять, если мы повернем направо, то мы врежемся сюда и, возможно,
пострадают пассажиры, а вот здесь мы собьем человека. Ну представьте, как мало у нас
данных, чтобы можно было выучить какие-то модели таких ситуаций. Они будут неве-
роятно неточными, особенно с учетом всех этих проблем про каузальность, о которых
мы сегодня говорили. То есть, просто у нас не будет даже достаточно хорошей модели
с нашим текущим уровнем технологий, чтобы какие-то этические дилеммы уверенно
разрешить (Скоринкин 2021).
В этой длинной цитате из интервью есть, как мне кажется, две ключевые
мысли. Во-первых, любые попытки моделировать чрезвычайные ситуации для
обучения БА в целом бесполезны. Во-вторых, инженеры, которые обучают ал-
горитмы, не будут нести ответственность за действия БА в таких ситуациях, по-
скольку неясны ни исходные данные, ни возможные результаты. На этом этапе
акцент делается на том, чтобы БА не становился, по крайней мере, причиной
для аварии и не принимал решений за пределами тех, в которых уверены сами
разработчики. Я бы назвала этот подход социотехническим, потому что разра-
ботчики учитывают возможные сложности, при этом заранее не предсказывая
поведение технологии.
Компания-разработчик Basetrack пошла иным путем в решении этических
вопросов:
С точки зрения философии была выдвинута гипотеза, что транспорт может являться не
заменой водителя, а чем-то свежим. Это должен быть исполнитель команд, например,
потому что сама по себе теория того, что ИИ… будет водителем, она имеет много огре-
хов, основанных как на законе, так и на морали людей. В принципе, восприятие робота
и человека должно различаться. Чтобы протестировать данную гипотезу, была создана,
и - обладая технической экспертизой - мы нашли исполнителя по технической части и
сделали прототип технологии, в которой проверяется гипотеза того, что автомобиль вы-
полняет команды и не думает сам при этом. Чистая технология Basetrack подразумевает,
что мы прокладываем в пространстве (в любом месте мы можем проложить) с большой
точностью треки, которые мы называем “виртуальными рельсами”, и эти рельсы, подоб-
но тому, как поезд едет по обычным рельсам, могут быть использованы любым видом
транспорта, в том числе автомобилями, для того чтобы производить движение, выпол-
нять точную последовательность команд исполнительных, которые несет в себе данный
рельс. <…> Это геоинформатический подход, когда мы не даем автомобилю воли, свобо-
ды принятия решений, поскольку много вопросов вызывает то, насколько ИИ является,
скажем так, интеллектом. Мы, например, знаем, что ИИ на данный момент представлял
из себя набор команд, алгоритм (29 тыс. алгоритмов), который ИИ мог выполнять, и
все-таки мы видим, что может существовать другой подход к транспорту, который реша-
ет множество проблем (Руденко 2018).
Этот случай представляет альтернативный сценарий развития беспилотного
транспорта, поскольку разработчики пытаются внедрить новую логику движе-
ния роботизированных систем - такую, чтобы не подвергать опасности других
участников дорожного движения.
В приведенных примерах явным образом отсутствуют обсуждения регуля-
торики, моральных машин и всего того, что мы видели в предыдущих перспек-
тивах. Здесь происходит ситуативная работа с технологией в ее множествен-
ности. С одной стороны, инженеры сталкиваются с задачей приоритизировать
“социальные правила” дорожного движения, которые плохо алгоритмизируют-
ся и зачастую противоречат нормам. И хотя попытки “схватить” такие прави-
ла предпринимаются социальными исследователями (Vinkhuyzen, Cefkin 2016),
дорожное движение все еще требует большого вовлечения всех участников и
постоянной совместной координации. Поэтому идея обучать алгоритмы реаль-
ным ситуациям на дорогах, чтобы создавать базу данных дорожного порядка,
78
Этнографическое обозрение № 1, 2022
может быть переформулирована в терминах “объяснимого” порядка (account-
able order) (Neyland 2015). В таком случае придание смысла действиям БА про-
исходит не только исходя из правил и человеческой перспективы, но с учетом
гетерогенности среды дорожного движения. С другой стороны, БА может пред-
ставляться как альтернативная, отдельная от гетерогенного взаимодействия
технология без острых этических вопросов.
* * *
Беспилотный автомобиль как технология всегда объединяла слишком раз-
нородный набор акторов - даже задолго до включения в их ряды пользовате-
лей. Прежде чем оказаться на дорогах общего пользования, БА должен стать
частью публичного обсуждения или хотя бы исследовательского внимания с
тем, чтобы предотвратить возможные негативные последствия. До сих пор
успешные тесты кажутся возможными лишь в “стерильных” лабораторных
условиях с высоким уровнем предсказуемости. Однако столкновение с ре-
альными участниками дорожного движения вызывает реакции в виде ограни-
чений и запретов со стороны регуляторов, в то время как этические вопросы
остаются нерешенными и являются предметом постоянных обсуждений и
изменений.
Сложность решения этических вопросов подтверждает влияние разнообраз-
ных контекстов на принятие дальнейших технологических действий - полити-
ческих, экономических, культурных, этических или др. Cоциальные исследова-
тели технологий стремятся зафиксировать множественную природу вопросов,
связанных с технологическим развитием, а инженерные решения глубоко уко-
ренены в гетерогенных отношениях. В этих отношениях участвуют люди с мно-
жеством разных взглядов, полномочий и ответственностей. Пока технология не
вышла в пространство публичного пользования, этические вопросы ее развития
остаются на уровне обсуждений и споров.
В российском контексте эти обсуждения и споры приобретают вполне раз-
личимые перспективы. В статье я выделила три перспективы, которые находят
отражение в публичном пространстве в дискуссиях по этическим вопросам раз-
работки беспилотных автомобилей: философскую, нормативную и социотехни-
ческую. Первая эксплуатирует идею нерешаемых моральных дилемм. Вторая
апеллирует к регуляторным задачам. Третья представляет собой наиболее лю-
бопытное переплетение возможностей и ограничений в решении так наз. эти-
ческих вопросов. Самыми острыми оказываются проблемы взаимодействия че-
ловеческих и нечеловеческих акторов. В качестве решений предлагается либо
минимизировать участие одних в мире других и создавать альтернативные ос-
нования для взаимодействия (в случае Basetrack), либо интегрировать разные
правила поведения в общем пространстве (“Яндекс”). Социальные исследова-
тели БА и алгоритмов, кажется, готовы предоставить ряд работающих страте-
гий для взаимной социализации гетерогенных участников. Следующим шагом
станет антропологическое исследование практик разработчиков по решению
этических вопросов.
Благодарности
Автор благодарит Николая Руденко и Андрея Кузнецова за помощь и ком-
ментарии к ранним версиям статьи, а также Николая Руденко за предоставлен-
ные полевые материалы.
Земнухова Л.В. Как обращаются с этическими вопросами в российском публичном...
79
Примечания
1 Сложным отношениям в среде разработчиков посвящено много литерату-
ры (напр.: Barki, Hartwick 2001; Zhang et al. 2014), мы также подробно изучали
взаимодействие разработчиков и тестировщиков (Земнухова, Гусева 2019).
Источники и материалы
Береснева
2016
- Береснева Е. Мораль для робота // Российская газета.
voprosy-zhizni-i-smerti.html
В России на время… 2021 - В России на время появится беспилотное такси
без инженера-испытателя в салоне // Российская академия транспорта.
Кантышев 2018 - Кантышев П. Как наделить беспилотные авто всего мира
articles/2018/10/30/785060-bespilotnie-avto
Котляр 2015 - Котляр П. Запрограммировать беспилотники, чтобы убивать //
Газета.ru.
shtml
Кушнир 2020 - Кушнир Н. Беспилотные автомобили: сколько стоят, когда по-
ступят в продажу и как ИИ справляется с бездорожьем и лихачами // vc.ru.
31.03.2020.
stoyat-kogda-postupyat-v-prodazhu-i-kak-ii-spravlyaetsya-s-bezdorozhem-i-
lihachami
Марков 2018 - Марков А. Моральные проблемы беспилотных автомобилей не
ru/novosti_nauki/433355/Moralnye_problemy_bespilotnykh_avtomobiley_ne_
imeyut_universalnogo_resheniya
Молотилин 2015 - Молотилин Т. Психологи научат беспилотники правиль-
trolley-problem
Ответственность водителя 2021 - Ответственность водителя беспилотного
транспорта: презумпция виновности // Российская академия транспорта.
Руденко 2018 - Интервью Н. Руденко с представителями BaseTrack. Полевые
материалы Н. Руденко.
Скоринкин 2021 - Скоринкин Д. Как видят мир беспилотники и почему
“обучение с учителем” сломано. Расшифровка подкаста с Борисом
kak-vidjat-mir-bespilotniki-i-pochemu-obuchenie-s-uchitelem-slomano-
rasshifrovka-podkasta-s-borisom-jangelem
Этическая философия 2020 - Этическая философия беспилотного транспор-
etika_bespilotnogotransporta
Ethics Commission 2017 - Ethics Commission Automated and Connected Driving.
Report. June
ethics-commission-automated-and-connected-driving.pdf?__blob=publicationFile
Horizon 2020 - Horizon 2020 Commission Expert Group to advise on specific
ethical issues raised by driverless mobility. Ethics of Connected and Automated
Vehicles: recommendations on road safety, privacy, fairness, explainability and
80
Этнографическое обозрение № 1, 2022
f98c-11ea-b44f-01aa75ed71a1/language-en/format-PDF/source-search
Lee 2018 - Lee T. Report: Software Bug Led to Death in Uber’s Self-Driving Crash //
software-bug-led-to-death-in-ubers-self-driving-crash
ProKazan 2020 - Таксистам скоро придется искать другую работу? Все, что вы
хотели знать о беспилотниках в Казани // ProKazan.ru. 13.05.2020. https://
prokazan.ru/news/view/138757
Shivdas, Kelly 2021 - Shivdas S., Kelly T. Toyota Halts All Self-Driving E-Palette
Vehicles after Olympic Village Accident // Reuters. August 28, 2021. https://
pallete-vehicles-after-olympic-village-accident-2021-08-27
Wakabayashi 2018 - Wakabayashi D. Self-Driving Uber Car Kills Pedestrian in
Arizona, Where Robots Roam // The New York Times. March 19, 2018. https://
Wylsacom 2018 - Wylsacom: Проехал на автономном такси Яндекс - как тебе
watch?v=arzHUpl3Iik&t=2s
Научная литература
Земнухова Л.В., Гусева А. Социотехнические факторы лиминальной по-
зиции тестировщиков программного обеспечения
//
Журнал со-
циологии и социальной антропологии. 2019. Т.
22.
№ 6. С. 69-85.
Кузнецов А.Г. Туманности нейросетей: “черные ящики” технологий и нагляд-
ные уроки непрозрачности алгоритмов // Социология власти. 2020. Т. 32.
Ananny M., Crawford K. Seeing without Knowing: Limitations of the Transparency
Ideal and Its Application to Algorithmic Accountability // New Media & Society.
Awad E. et al. The Moral Machine Experiment // Nature. 2018. Vol. 563 (7729).
Bijker W., Law J. General Introduction // Shaping Technology / Building Society:
Studies in Sociotechnical Change / Eds. W.E. Bijker, J. Law. Cambridge, MA:
MIT Press, 1993. P. 1-16.
Bijker W.E. Do Not Despair: There Is Life after Constructivism // Science,
Technology, & Human Values Theme Issue: Technological Choices (Winter).
1993. Vol. 18 (1). P. 113-138.
Bijker W.E. Sociohistorical Technology Studies // Handbook of Science and
Technology Studies / Eds. S. Jasanoff, G.E. Markle, J.C. Petersen, T. Pinch.
Thousand Oaks: Sage, 1995. P. 229-256.
Bissell D. et al. Autonomous Automobilities: The Social Impacts of Driverless
Vehicles // Current Sociology. 2018. Vol. 68 (1). P. 116-134.
Barki H., Hartwick J. Interpersonal Conflict and Its Management in Information
System Development // MIS Quarterly. 2001. Vol. 25 (2). P. 195-228.
Christin A. The Ethnographer and the Algorithm: Beyond the Black Box // Theory
and Society. 2020. Vol. 49 (5-6). P. 897-918.
Eriksson M. The Normativity of Automated Driving: A Case Study of Embedding
Norms in Technology // Information & Communications Technology Law.
Земнухова Л.В. Как обращаются с этическими вопросами в российском публичном...
81
Hubert E. The Dark Side of the
“Moral Machine” and the Fallacy of
Computational Ethical Decision-Making for Autonomous Vehicles //
Law, Innovation and Technology.
2021. Vol.
13
(1).
P.
85-107.
Lipson H., Kurman M. Driverless: Intelligent Cars and the Road Ahead. Cambridge,
MA: MIT Press, 2016.
Neyland D. Bearing Account-able Witness to the Ethical Algorithmic System //
Science, Technology, & Human Values. 2015. Vol. 41 (1). P. 50-76.
Nyholm S. The Ethics of Crashes with Self-Driving Cars: A Roadmap, I // Philosophy
Nyholm S. The Ethics of Crashes with Self-Driving Cars: A Roadmap, II // Philosophy
Oudshoorn N., Pinch T. (eds.) How Users Matter: The Co-Construction of Users
and Technologies. Cambridge, MA: MIT Press, 2003.
Reijers W., Coeckelbergh M. Narrative and Technology Ethics. Cham: Palgrave
Macmillan, 2020.
Seaver N. Algorithms as Culture: Some Tactics for the Ethnography of
Algorithmic Systems // Big Data & Society. 2017. Vol. 4 (2). P. 1-12.
Sparrow R., Howard M. When Human Beings are like Drunk Robots:
Driverless Vehicles, Ethics, and the Future of Transport // Transportation
Research Part C: Emerging Technologies.
2017. Vol.
80. P.
206-215.
Sparrow R., Howard M. Make Way for the Wealthy? Autonomous Vehicles, Markets
in Mobility, and Social Justice // Mobilities. 2020. Vol. 15 (4). P. 514-526.
Stayton E., Cefkin M., Zhang J. Autonomous Individuals in Autonomous
Vehicles: The Multiple Autonomies of Self-Driving Cars // Ethnographic
Praxis in Industry Conference Proceedings.
2017. No.
1. P.
92-110.
Vinkhuyzen E., Cefkin M. Developing Socially Acceptable Autonomous Vehicles
//
Ethnographic Praxis in Industry Conference Proceedings.
2016. No. 1.
Zhang X. et al. Sources of Conflict between Developers and Testers in Software
Development // Information Management. 2014. Vol.
51
(1). P. 13-26.
R e s e a r c h A r t i c l e
Zemnukhova, L.V. How Ethical Issues are Dealt with in the Russian
Public Discourse on Autonomous Vehicles
[Kak obrashchaiutsia s
eticheskimi voprosami v rossiiskom publichnom diskurse o bespilotnykh
avtomobiliakh]. Etnograficheskoe obozrenie,
2022, no.
1, pp.
68-83.
Academy of Sciences © Institute of Ethnology and Anthropology RAS
European University at St. Petersburg
(6/1a Gagarinskaya Str.,
St. Petersburg,
191187, Russia)
|
Sociological Institute of the RAS -
FCTAS RAS (24/35, korpus 5, Krzhizhanovskogo Str., Moscow, 117218, Russia)
82
Этнографическое обозрение № 1, 2022
Keywords
autonomous vehicles, ethics of artificial intelligence, science and technology studies,
social construction of technology, algoethics
Abstract
An autonomous vehicle is not limited to sets of traffic rules, hardware, and software. It
is a heterogeneous technology, and many relevant groups are involved in its creation:
development companies, regulators, public organizations, media, and the public. All
these actors make sense of both the technology itself and the key problems associated
with its development. In this article, I focus on ethical issues related to autonomous
vehicles. Based on the materials of the Russian media and public interviews, I study
the contexts where this topic arises, how different participants react to it and what
they rely on. As a result, I highlight philosophical, normative, and sociotechnical
perspectives on ethical issues in Russian public discourse.
Funding Information
This research was supported by the following institutions and grants:
20-78-10106]
References
Ananny, M., and K. Crawford. 2018. Seeing without Knowing: Limitations of the
Transparency Ideal and Its Application to Algorithmic Accountability. New
Awad, E., et al. 2018. The Moral Machine Experiment. Nature 563 (7729): 59-64.
Barki, H., and J. Hartwick. 2001. Interpersonal Conflict and Its Management in
Information System Development. MIS Quarterly 25 (2): 195-228.
Bijker, W., and J. Law. 1993. General Introduction. In Shaping Technology / Building
Society: Studies in Sociotechnical Change, edited by W.E. Bijker and J. Law,
1-16. Cambridge, MA: MIT Press.
Bijker, W.E. 1993. Do Not Despair: There Is Life after Constructivism. Science,
Technology, & Human Values Theme Issue: Technological Choices 18 (1):
113-138.
Bijker, W.E. 1995. Sociohistorical Technology Studies. In Handbook of Science
and Technology Studies, edited by S. Jasanoff, G.E. Markle, J.C. Petersen, and
T. Pinch, 229-256. Thousand Oaks: Sage.
Bissell, D., et al. 2018. Autonomous Automobilities: The Social Impacts of Driverless
Vehicles. Current Sociology 68 (1): 116-134.
Christin, A. 2020. The Ethnographer and the Algorithm: Beyond the Black Box.
Theory and Society 49 (5-6): 897-918.
Eriksson, M. 2017. The Normativity of Automated Driving: A Case Study of
Embedding Norms in Technology. Information & Communications Technology
Hubert, E. 2021. The Dark Side of the “Moral Machine” and the Fallacy of
Computational Ethical Decision-Making for Autonomous Vehicles. Law, Innovation
Kuznetsov,A.G. 2020. Tumannosti neirosetei: “chernye yashhiki” tehnologii i nagliadnye
uroki neprozrachnosti algoritmov [Neural Network Nebulaе: “Black Boxes” of
Technologies and Object-Lessons from Opacities of Algorithms]. Sotsiologiia vlasti
Земнухова Л.В. Как обращаются с этическими вопросами в российском публичном...
83
Lipson, H., and M. Kurman. 2016. Driverless: Intelligent Cars and the Road Ahead.
Cambridge, MA: MIT Press.
Neyland, D. 2015. Bearing Account-able Witness to the Ethical Algorithmic System.
Science, Technology, & Human Values 41 (1): 50-76.
Nyholm, S. 2018. The Ethics of Crashes with Self-Driving Cars: A Roadmap, I.
Nyholm, S. 2018. The Ethics of Crashes with Self-Driving Cars: A Roadmap, II.
Oudshoorn, N., and T. Pinch, eds. 2003. How Users Matter: The Co-Construction of
Users and Technologies. Cambridge, MA: MIT Press.
Reijers, W., and M. Coeckelbergh. 2020. Narrative and Technology Ethics. Cham:
Palgrave Macmillan.
Seaver, N.
2017.
Algorithms as Culture: Some Tactics for the
Ethnography of Algorithmic Systems. Big Data & Society
4
(2): 1-12.
Sparrow, R., and M. Howard. 2017. When Human Beings are like Drunk
Robots: Driverless Vehicles, Ethics, and the Future of Transport.
Transportation Research Part C: Emerging Technologies
80:
206-215.
Sparrow, R., and M. Howard. 2020. Make Way for the Wealthy? Autonomous
Vehicles, Markets in Mobility, and Social Justice. Mobilities 15 (4): 514-526.
Stayton, E., M. Cefkin, and J. Zhang.
2017. Autonomous Individuals in
Autonomous Vehicles: The Multiple Autonomies of Self-Driving Cars.
Ethnographic Praxis in Industry Conference Proceedings
1:
92-110.
Vinkhuyzen, E., and M. Cefkin. 2016. Developing Socially Acceptable Autonomous
Vehicles. Ethnographic Praxis in Industry Conference Proceedings 1: 522-534.
Zemnukhova, L., and A. Guseva. 2019. Sotsiotekhnicheskie faktory liminal’noi
pozitsii testirovschikov
[Sociotechnical Factors of Tester’ Liminal
Position]. Zhurnal sotsiologii i sotsial’noi antropologii
22
(3):
69-85.
Zhang, X., et al. 2014. Sources of Conflict between Developers and Testers
in Software Development. Information Management
51
(1):
13-26.
