Доносы, арест счетов и вымышленные долги: пять роковых ошибок алгоритмов Доносы, арест счетов и вымышленные долги: пять роковых ошибок алгоритмов

Доносы, арест счетов и вымышленные долги: пять роковых ошибок алгоритмов

Искусственный интеллект должен вызывать доверие — и это не фантазии футурологов, а острая необходимость. Ошибки ИИ уже сегодня могут привести к потере работы, сбережений или даже свободы

22 августа 2021 года 65-летний житель Чикаго Майкл Уильямс вышел из ворот городской тюрьмы. В заключении он провел 11 месяцев по обвинению в убийстве. Обвинение было выдвинуто на основе единственного доказательства — данных системы ShotSpotter, которая зафиксировала звук взрыва фейерверка в полутора километрах от места происшествия и распознала его как выстрел. Уильямс имел судимость в прошлом, и этих двух фактов оказалось достаточно, чтобы он попал под подозрение.

В последнее десятилетие, когда искусственный интеллект стал все чаще использоваться не только для анализа данных, но и для принятия решений, многие организации — коммерческие, государственные, международные — сформулировали и опубликовали принципы этичного (или доверенного, trustworthy) искусственного интеллекта.

Например, согласно компании Google, этичный ИИ должен: приносить пользу обществу, не создавать или не поддерживать существующие стереотипы, разрабатываться с учетом правил безопасности, быть подотчетным человеку, проектироваться с учетом принципов приватности, использоваться в целях, не противоречащих этим принципам.

Говоря о непредвзятости ИИ, мы имеем в виду не справедливость системы как таковой, а качество данных, на которых она обучалась. «Сырые» данные могут отражать предрассудки, существующие в обществе. Система наследует их, что приводит к появлению слепых пятен и предвзятых решений. Поскольку предвзятость касается крайне чувствительных факторов, подобные ошибки становятся причиной серьезных инцидентов, которые затрагивают уязвимые группы населения. Вот несколько наиболее громких историй последних лет.

В штате Мичиган за период с 2013 года было выдвинуто 48 000 обвинений в мошенничестве на основе данных, полученных от автоматизированной системы выявления мошенничества (MiDAS). Без участия человека были назначены возвраты с процентами и административные санкции, сумма которых в четыре раза превысила сумму, которую предположительно должны были вернуть граждане. Чтобы получить деньги, штат накладывал аресты на заработную плату, штрафовал банковские счета и перехватывал налоговые возвраты. Граждане, неправомерно обвиненные из-за ошибки алгоритма, оказались в тяжелых жизненных ситуациях: лишились жилья, стали банкротами и испортили свою кредитную историю.

Начиная с 2013 года в Нидерландах 26 000 семей были обвинены в мошенническом получении социальных выплат из-за неправильно работающей программы. Алгоритм, проводивший оценку заявлений на социальные выплаты, отмечал как «находящихся в зоне риска» людей, имеющих двойное гражданство. Множество граждан, вынужденных выплатить деньги, которые они никому не были должны, оказались на грани разорения. В феврале 2021 года, после полутора лет расследований, премьер-министр Нидерландов и весь его кабинет ушли в отставку.

Постер, высмеивающий премьера Нидерландов Марка Рютте из-за его политики в отношении коронавируса. Амстердам, март 2021 года

В 2020 году правительство Австралии признало существование сотен тысяч неправомерно взысканных с населения долгов по социальным выплатам. Общая сумма долга составила 721 миллион австралийских долларов. Все началось в конце 2016 года, когда после внедрения автоматизированной системы выявления переплат по пособиям Robodebt люди начали получать письма и звонки от коллекторов с требованиями вернуть деньги, которых они никогда раньше не получали. Деньги за предполагаемые долги автоматически снимались с банковских счетов. Несмотря на постоянные оспаривания, жалобы и масштабную деятельность активистов, которые помогали гражданам с юридической помощью, система проработала до 2020 года.

С 2015 по 2018 год система фильтрации контента в приложении для детей YouTubeKids, основанная в большей степени на алгоритмах, но подразумевающая также контроль человека, пропускала на платформу неприемлемые для детей материалы. Детям оказались доступны видео, содержащие сцены секса, насилия и обсценную лексику, а также контент, связанный с наркотиками и теориями заговора. Графически многие видео (их число, вероятно, достигает нескольких тысяч) были очень похожи на детские мультфильмы, такие как «Свинка Пеппа», но их содержание не соответствовало возрасту аудитории приложения. «Безопасный режим» — дополнительный фильтр YouTube — не блокировал такие видео. Более того, алгоритмы включали их в раздел «Рекомендованные».

В июне 2020 года в Детройте был неправомерно арестован Роберт Джулиан-Борчак Уильямс — после того как система распознавания лиц, которую использовал департамент полиции Детройта, ошибочно опознала его как чернокожего мужчину, совершившего кражу наручных часов на общую сумму 3800 долларов США и попавшего на камеры наблюдения. Позже выяснилось, что система, которой пользовалась полиция, распознавала лица людей африканского и азиатского происхождения гораздо хуже, чем лица людей с белым цветом кожи. После этой ситуации Amazon, Microsoft и IBM временно приостановили (или полностью прекратили) продажу систем распознавания лиц департаментам полиции. Однако, как отмечает New York Times, это был скорее символический жест, потому что они не занимают лидирующие позиции на рынке.