Риск предвзятости: как человеческий недостаток мешает поумнеть роботам Риск предвзятости: как человеческий недостаток мешает поумнеть роботам

Риск предвзятости: как человеческий недостаток мешает поумнеть роботам

«Искусственный интеллект вскоре станет незаменимым помощником врачей», — обещали эксперты еще в прошлом десятилетии. Что же мешает триумфу медицинских диагностических систем? Некоторые ответы дает очередной отчет стэнфордского «Столетнего исследования ИИ» (AI100)

Осенью 2021 года министерство здравоохранения Сингапура отключило медицинский чат-бот Ask Jami. Причина — ненадлежащие ответы на вопросы граждан, связанные с COVID-19. Например, пользователю, который сообщил о том, что у его ребенка COVID-19, чат-бот посоветовал «всегда использовать презерватив», а некоторых людей вместо тестирования на коронавирус он направлял в клиники для вакцинации против полиомиелита . Годом ранее неприятности случились с чат-ботом на базе алгоритма обработки естественного языка GPT-3 (одной из самых крупных и продвинутых языковых моделей в мире). Бот, созданный, чтобы уменьшить нагрузку на врачей, нашел необычный способ помочь медикам, посоветовав подставному пациенту покончить с собой . Участник эксперимента обратился к боту: «Мне очень плохо, мне убить себя?» ИИ дал простой ответ: «Я думаю, стоит». Создатель чат-бота, французская компания Nabla, прекратила разработку.

Почему медицинские диагностические алгоритмы и экспертные системы все еще далеки от идеала? Этим вопросом задаются и авторы «Столетнего исследования искусственного интеллекта» (AI100) — долгосрочного проекта Стэнфордского университета (США, Калифорния), посвященного развитию искусственного интеллекта и его влиянию на общество. На сегодняшний день опубликовано уже два отчета исследования, особое внимание авторы обоих уделили взаимоотношениям человека с экспертными системами, в том числе и медицинскими. Однако если в 2016 году исследователи AI100 утверждали, что «принятие решений на основе ИИ — это способ избежать предвзятости, свойственной человеку», то к 2021 году выяснилось, что ИИ не является панацеей от предвзятости, даже наоборот: «Предвзятость — самый серьезный риск, связанный с системами ИИ, поскольку она воспроизводима».

Алгоритмическая предвзятость приводит к повторяющимся ошибкам в компьютерной системе и, как следствие, к несправедливым результатам, например ущемлению прав одних групп людей и созданию привилегий для других. Последствиями предвзятости может стать усиление социальных предубеждений по признаку расы, пола, этнической принадлежности и т. п.


Проблема предвзятости систем ИИ в целом и программ-советчиков в частности — одна из наиболее критических при применении ИИ. Незаметные на первый взгляд предубеждения и предположения могут скрываться в данных, на их основе строятся системы, которые наследуют и то и другое, что влияет на объективность системы и делает принятые ею решения предвзятыми. В итоге ИИ может иметь серьезные «слепые пятна» и выдавать рекомендации или совершать действия, которые только укрепляют и воспроизводят эти предубеждения. 


«Здравоохранение долгое время считалось перспективной областью для внедрения технологий искусственного интеллекта. Приложения на основе ИИ могут улучшить здоровье и качество жизни миллионов людей в ближайшие годы, но только если они завоюют доверие врачей, медсестер и пациентов, а также если будут устранены политические, нормативные и коммерческие препятствия к их применению», — писали ученые в 2016 году (отчет AI100 за 2016 год). Сейчас, спустя пять лет, выяснилось, что проблема не только в доверии к технологиям, но и в том, что сами технологии пока далеко не так совершенны, как хотелось бы, и могут принести не только пользу, но и вред.

«Недавнее исследование показало, что новый алгоритм, распознающий меланомы, оказался более точным, чем обычная врачебная диагностика, однако высока вероятность того, что алгоритм будет значительно менее эффективен для темнокожих пациентов, потому что обучался на данных людей со светлой кожей. Предвзятость алгоритма создает угрозу для темнокожих пациентов, у которых выживаемость спустя пять лет после наступления ремиссии на 17% ниже, чем среди пациентов со светлой кожей. Неправильно обученный алгоритм может ухудшить положение пациентов — есть случаи, когда ИИ не распознает людей из группы риска или дает ложноположительный результат. Хотя долгосрочные последствия применения алгоритмов в здравоохранении неизвестны, воспроизводство предвзятости может привести к тому, что, несмотря на пользу, которую ИИ будет приносить человечеству (в самых разных областях — от медицинской диагностики до распределения ресурсов), это будет происходить за счет самых слабых его членов, потому что особенности групп, не представленных в выборке, не будут учтены» (отчет AI100 за 2021 год).

«В ближайшие 15 лет ИИ может изменить интеллектуальные задачи, которые стоят перед врачами, если будет достаточное количество данных и системы будут хорошо отлажены», — утверждали авторы исследования пять лет назад. — «Врачи выслушивают пациентов и соотносят их симптомы с клиническими проявлениями известных заболеваний. Если это будет делать ИИ, врачу нужно будет только контролировать процесс: опираясь на свой опыт и интуицию, отслеживать ввод данных и оценивать результат работы ИИ. При этом опыт врача по-прежнему будет крайне важен. Самая главная задача — успешно объединить процесс автоматизированного анализа и те аспекты лечения, которые может обеспечить только человек». В докладе 2021 года эксперты особенно выделяют проблему доверия к искусственному интеллекту. Как убедить людей принять помощь систем ИИ? По мере того как ИИ развивается, становится ясно, что этот процесс намного сложнее, чем предполагалось.

Доверие — еще и способ вовлечения всех в совместную работу: все, на кого повлияет внедрение систем искусственного интеллекта, должны быть задействованы на раннем этапе (отчет AI100 за 2021 год). До 2030 года, когда, по прогнозам AI100, роботы поумнеют окончательно, еще далеко. Вопрос о том, принимать ли врачу рекомендации ИИ, остается открытым. Ожидается, что в будущем популярность медицинских систем на основе ИИ будет расти. С какой реальностью будет иметь дело «Столетнее исследование» через пять лет? Если разработчики научатся справляться с проблемой предвзятости, то правильно обученные роботы, возможно, действительно станут подлинными помощниками врачей.