Автоматическая классификация нарушений, выявленных инспекторами Счетной палаты РФ Автоматическая классификация нарушений, выявленных инспекторами Счетной палаты РФ

Автоматическая классификация нарушений, выявленных инспекторами Счетной палаты РФ

Проблемы и вызовы, с которыми встретилось ведомство при работе с алгоритмами искусственного интеллекта

Описания 15 000 нарушений стали основой для обучения модуля автоматической классификации кейсов с использованием алгоритмов ИИ. Модуль был разработан в 2019 году в ходе работ по оптимизации и автоматизации внутренних процессов Счетной палаты, для его построения использовалась, в частности, нейросетевая технология PYTORCH.

Разработчики предполагали, что модуль облегчит труд инспекторов при составлении карт итогов контрольных мероприятий, которые формируются по результатам проверок и содержат описания нарушений, их юридическую квалификацию с указанием реквизитов правовых актов и классификацию. Обучение модуля и его тесты позволили но-новому взглянуть на процессы составления карт.


Проблема
Решение
Снижение точности работы модуля. Обучение модуля проводилось в 2019 году на основании нарушений, выявленных в 2015–2019 гг. При вводе в эксплуатацию точность составляла около 93%. В июле 2021 года она снизилась до 80%. Причина в изменении формулировок нарушений за счет постоянного совершенствования подходов к их описанию и изменения реквизитов правовых актов, исполнение которых было нарушено.
Регулярное переобучение модуля на свежих данных о нарушениях
Недостаточная точность работы модуля. Текущая точность (80%) с точки зрения эффективности и качества работы искусственного интеллекта является довольно высокой, но для целей Счетной палаты такой уровень неприемлем.
Проведение дополнительных контрольных процедур
Принятие инспекторами Счетной палаты результатов работы модуля без дополнительного анализа. При формировании карты итогов контрольного мероприятия модуль предлагает инспектору результат автоматической классификации выявленного нарушения. Если инспектор считает результат некорректным, ему нужно внести правки в ручном режиме. На практике инспекторы зачастую используют результаты работы модуля без перепроверки.
Внедрение компенсирующих контрольных процедур

Особенности, выявленные в ходе эксплуатации модуля на основе ИИ в Счетной палате РФ

Работа с ИИ-модулем позволила выявить и проблему компетенций — острый дефицит сотрудников, обладающих необходимыми знаниями в области искусственного интеллекта. Без таких специалистов сложно говорить как о совершенствовании модуля автоматической классификации нарушений, так и о корректном составлении технических заданий, проведении соответствующих госзакупок и заключении госконтрактов. В то же время опыт работы с ИИ-модулем помогает проводить оптимизацию процессов, относящихся к картам итогов, которая идет сейчас в Счетной палате.