Дети как пользователи ИИ-систем: пять способов снизить риски Дети как пользователи ИИ-систем: пять способов снизить риски

Дети как пользователи ИИ-систем: пять способов снизить риски

Опубликовано практическое руководство для компаний, родителей и воспитателей

На этапе разработки трудно предсказать, какие именно продукты будут использоваться детьми, но такую возможность надо учитывать. Без надлежащего проектирования модели ИИ могут наносить эмоциональный вред и негативно влиять на развитие детей. Как именно они влияют на повседневную жизнь? Такие модели определяют, какие видео ребенок будет смотреть онлайн, и влияют на его образовательную траекторию; то, как дети играют и общаются друг с другом, тоже во многом опосредовано гаджетами. При этом дети особенно уязвимы для потенциальных угроз, которые создает ИИ, в частности для предвзятости, низкого уровня кибербезопасности и недостаточной доступности.

В марте 2022 года Всемирный экономический форум опубликовал руководство по ответственной разработке и использованию приложений с искусственным интеллектом для детей и молодежи. Документ адресован разработчикам и родителям: первым он поможет создавать безопасные продукты на основе доверенного искусственного интеллекта, вторым даст информацию, необходимую для принятия решения о покупке устройств и приложений детям.

Всемирный экономический форум (ВЭФ) — швейцарская неправительственная организация, известная в первую очередь проведением ежегодного мероприятия в Давосе, но также публикующая доклады, исследования, статьи, экспертные мнения. В числе главных целей организации — улучшение качества управления в мировом масштабе и более тесное взаимодействие государственного и частного секторов экономики.

Обращая внимание на риски, связанные с применением ИИ, авторы стремятся уравновесить склонность разработчиков и пользователей видеть в ИИ-продуктах только положительные стороны. По мнению ВЭФ, компании пренебрегают рисками, если:

1) не раскрывают информацию о том, как используется ИИ;
2) не борются с предвзятостью алгоритмов (например, по отношению к пользователям с ограниченными возможностями, представителям разных культурных и социально-экономических слоев общества);
3) не тестируют систему на стадиях дизайна и прототипирования и не получают одобрение пользователей и экспертного сообщества;
4) не уделяют должного внимания вопросам конфиденциальности, безопасности данных.

В пособии названы пять признаков цифрового решения на основе ИИ, в котором сведены к минимуму риски для детей. На английском эти признаки образуют аббревиатуру FIRST: Fair, Inclusive, Responsible, Safe, Transparent. Вот как они расшифровываются.

Непредвзятое: создатели реализуют стратегию упреждающих действий; проводят этическую экспертизу продукта; тщательно тестируют данные, чтобы понимать поведение модели.

Инклюзивное:

  • созданы планы исследований, действуют консультативные советы и пулы участников, которые отражают высокую вариативность целевой аудитории;
  • ведется сбор обратной связи на каждом этапе разработки;
  • выявляются сбои, из-за которых у отдельных категорий пользователей может возникнуть ощущение исключенности и изоляции. 

Ответственное:

  • отслеживаются сбои при взаимодействии с пользователем, создающие негативный опыт для детей и молодежи;
  • повышенное внимание уделяется безопасности и конфиденциальности данных;
  • ИИ может подстраиваться под пользователя и корректировать поведение.

Безопасное:

  • регулярно изучается пользовательское поведение;
  • анализируются возможные сценарии злонамеренного использования систем и разрабатываются меры по снижению рисков;
  • создана прозрачная, объяснимая и основанная на пользовательских данных модель отношений между ребенком, родителем и технологией для выявления и уменьшения потенциального вреда;
  • дети и молодежь проводят экспертные проверки использования технологий;
  • разработан план обеспечения безопасности с учетом когнитивной, эмоциональной и физической безопасности детей и молодежи.

Прозрачное:

  • правила пользования изложены простым языком;
  • раскрыта информация по использованию таких высокорисковых технологий, как распознавание лиц и эмоций, а также информация о том, как обрабатываются эти данные;
  • указаны регионы, в соответствии с законами которых осуществляется обработка и защита персональных данных;
  • по умолчанию в настройках используется максимальный уровень безопасности с возможностью изменения этих настроек родителями; указана возрастная группа, для которой создано приложение;
  • предоставлены рекомендации для среды, в которой предполагается использовать технологию;
  • создан механизм оповещения родителей в случае возникновения какого-либо риска во время использования продукта.

ВЭФ также предлагает ввести систему маркировки для приложений с ИИ. Маркировка будет располагаться на физической упаковке продукта и считываться с помощью QR-кода. Она будет информировать детей и молодежь, а также родителей и опекунов о том, как работает конкретная система с ИИ (наличие сенсоров, способы взаимодействия с человеком, использование персональных данных и т. д.) и какие варианты ее использования доступны пользователям.