Колеса смерти

Год назад робокар компании Uber, проходящий тестирование в Аризоне, сбил насмерть велосипедистку. Все было против ИИ: темнота вокруг, темная одежда женщины, переход дороги в неположенном месте и резкое изменение траектории движения человеком. Робот решил, что перед ним незначительное препятствие из числа тех, которые его научили игнорировать, и даже не попытался затормозить.

Непредсказуемость погоды, пешеходов, водителей, плохая видимость или просто сочетание неблагоприятных факторов — все это создает те 0,1% нестандартных случаев на дороге, чреватых аварией. Обучить робота правильному поведению в них пока невозможно. Что же будет, если роботакси придется решать, кого оставить в живых, когда без жертв не обойтись?

Чтобы прощупать почву, исследователи из MIT (США) создали сайт The Moral Machine, где предлагают выбрать, кем пожертвовать робомобилю в ситуациях вроде «трое детей-пешеходов и бездомный» против четырех взрослых пассажиров. Большинство посетителей сайта демонстрируют рациональный подход: считают, что спасать надо людей, а не животных, жертвовать старыми ради молодых, оставлять в живых большие группы вместо малых, беречь людей с высоким социальным статусом, а не бездомных или преступников. Однако в ходе другого опроса выясняется, что к реальности это не имеет никакого отношения: никто в самом деле не собирается ездить на запрограммированном таким образом робомобиле. Так что, «кого спасать», решают, как всегда, производители и поставщики услуг.

Угроза сверху

Два дрона неожиданно вторглись на территорию лондонского аэропорта Гатвик в декабре 2018 года и стали кружить над взлетно-посадочной полосой. Аэропорт был закрыт на сутки, рейсы отменены, более 120 тыс. пассажиров не смогли улететь вовремя. Специалисты по авиации утверждают, что перерывы в работе аэропортов из-за вторжения дронов возникают регулярно и во всем мире. Квадрокоптеры способны нанести серьезный вред самолету при столкновении, ообенно если попадут в двигатель. Беспилотники свободны, как птицы, и столь же аморальны: найти стоящих за их действиями людей и доказать их вину непросто. Дрон легко может потерять управление, к тому же часто летает в автономном режиме — и попробуй угадай, кто загрузил в него координаты цели и дал задание. Кстати, расследование случая в Гатвике идет до сих пор: недавно директор сообщил, что в происшествии были замешаны сотрудники аэропорта.

Шпион на столе

Личные разговоры владельцев «умных колонок», куда встроен голосовой помощник Alexa, прослушиваются сотрудниками компании-производителя Amazon, сообщили недавно информационные агентства. Специальные люди расшифровывают записи со smart-колонок, причем не только из США, но и со всего мира, и отправляют разработчикам — якобы для дальнейшего обучения и развития искусственного интеллекта.

Ассистент Alexa давно завоевал доверие пользователей: он совместим с огромным количеством «умных вещей», его часто выбирают как базу для управления «умным домом». Но, как показали проверки, шпионажем занимаются и сами «умные вещи»: они самовольно постоянно выходят в интернет, передавая данные компаниям-создателям.

Владелец может столкнуться и с более радикальными проявлениями своеволия собственного жилища, когда «умный дом» словно восстает против хозяина. Свет, отопление, вода, музыкальный центр включается и выключается, когда пожелает, двери сами то открываются, то закрываются… За кулисами заговора может стоять самый что ни на есть человеческий интеллект: разъяренный муж, бывший любовник или просто любой недоброжелатель, перехвативший управление «умным домом» или взломавший систему. Ну и, конечно, так часто действуют хакеры, желающие получить выкуп.

Ничего личного

Технология распознавания лиц Rekognition, которую Amazon продает правоохранительным органам, демонстрирует скрытые гендерные и расовые предрассудки, выяснили не так давно исследователи MIT. Она часто неверно идентифицирует женщин и темнокожих, поскольку во время обучения системе редко показывали их изображения. Китайские же камеры лучше различают лица азиатов в ущерб представителям других этнических групп.

В расизме были замечены и другие обладатели искусственного интеллекта. Алгоритм, используемый одним из судов США для определения степени риска при освобождении под залог, и программа, предсказывающая возможность повторного преступления, стали выдавать в списках неблагонадежных граждан гораздо больше темнокожих, нежели белых людей. Производители оправдывались тем, что программы обучались на необъективных материалах, отражающих предубеждения прошлого, и сделали неправильные выводы.

Система ИИ, призванная устранить гендерные предубеждения при найме на работу, которую три года тестировали в компании Amazon, оказалась сексистом. Она стала нанимать специалистов-женщин намного реже, чем мужчин, обучившись на базе, в которую вошли резюме всех сотрудников Amazon за последние десять лет. В результате система решила, что для такой работы мужчины подходят больше. От программы решено было отказаться. Все эти случаи показывают: для обучения ИИ должны отбираться тщательно проверенные, объективные данные, отражающие существующее в мире разнообразие, иначе выводы будут искажены.

Опасное лечение

Робот Watson for Oncology от IBM, призванный совершить революцию в онкологии, выдавал зачастую «неправильные и неточные» рекомендации, выяснили исследователи.

Watson ищет нужную ему информацию на естественном языке в своей базе данных и в медкарте больного, ставит диагноз и подсказывает врачам лучшие методы лечения. В его памяти больше 600 тыс. медицинских заключений и диагнозов и 15 млн страниц текстов, включая статьи из медицинских журналов и отчеты о клинических испытаниях. Просмотрев базу за считанные секунды, он ставит диагноз минут за десять, дает рекомендации по терапии, и его решения в 93% случаев совпадают с выводами лучших онкологов.

Суперкомпьютеры уже давно используются в клиниках по всему миру. Но начиная с 2017 года стали появляться исследования, показавшие, что мирового переворота в онкологии не произошло. Причин много. Например, ИИ обучали сотрудники всего одной клиники в Нью-Йорке: они выбирали, что загрузить в базу, а значит, внесенные данные предвзяты и не дают представления об общей картине, что отражается и на выводах. Методы лечения меняются, а заставить нейросеть изменить подход очень сложно, поэтому врачи заносили в базу специально придуманные случаи, в чем признались позже. К тому же доступных данных по-прежнему мало для серьезного обучения искусственного интеллекта — это общая проблема медицины по всему миру, затрудняющая помощь ИИ. В общем, новых идей и подходов Watson не продемонстрировал. Не говоря уж о том, что любая электронная база с персональными данными пациентов может быть взломана хакерами — например, с целью добычи компромата.

Конечно, систему совершенствуют. Она продолжает служить врачам более чем в 300 клиниках разных стран. В мае 2018 года стало известно, что первый в России договор с IBM по применению Watson for Oncology заключил Сбербанк: он будет использовать его в своей системе страхования.

В оформлении использованы инсталляции Нам Джун Пайка