Ученые МГУ предложили метод оценки устойчивости изображений к атакам на метрики качества
Исследователи факультета вычислительной математики и кибернетики (ВМК) МГУ разработали новый подход к оценке качества изображений, который помогает выявить их уязвимость к состязательным атакам на метрики качества — характеристики, которые помогают численно оценить насколько изображение или видео реалистично и соответствует заданным стандартам. В рамках работы был создан индекс устойчивости изображений и модель, способная предсказывать восприимчивость визуального контента к искусственным манипуляциям. Полученные результаты помогут повысить надежность современных алгоритмов обработки изображений. Об этом сообщили в пресс-службе вуза.
Исследование опубликовано в сборнике EUSIPCO 2024.
Метрики качества широко используются при разработке методов обработки изображений и видео, а также компьютерного зрения. Современные метрики машинного обучения уязвимы к атакам, которые позволяют искусственно завышать их показатели. Это может привести к ситуациям, когда изображение кажется качественным для алгоритмов, но на самом деле выглядит плохо для человека. Такие атаки могут использоваться в фальсификации данных, мошеннической рекламе и других манипулятивных целях.
Ученые факультета ВМК МГУ предложили метод, который позволяет автоматически определять, насколько изображение устойчиво к подобным атакам. В основе их подхода лежит индекс устойчивости (IRI), который помогает понять, насколько легко можно обмануть метрику качества, изменяя изображение.
«Проблема атак на метрики качества изображений важна, потому что системы компьютерного зрения все больше зависят от автоматических оценок. Если алгоритмы можно обмануть, это может привести к серьезным последствиям — от искаженного контента до уязвимостей в системах безопасности», — рассказал Дмитрий Ватолин, заведующий лабораторией компьютерной графики и мультимедиа факультета ВМК МГУ.
Исследователи протестировали множество метрик качества изображений и выяснили, что одни из них устойчивы к атакам, а другими легко манипулировать. Чтобы выявить закономерности, они провели эксперименты с популярными методами атак, такими как FGSM, IFGSM, UAP и FACPA.
На основе этих данных был разработан индекс устойчивости (IRI), который позволяет оценить, насколько изображение подвержено атаке. Также ученые создали модель IRAA (Image Robustness to Adversarial Attacks) — это нейросеть, которая предсказывает, насколько легко можно изменить оценку качества изображения без изменения его реального восприятия человеком.
«Наш подход помогает заранее определить, какие изображения могут быть уязвимыми, и защитить системы, основанные на анализе изображений, от манипуляций», — добавил Дмитрий Ватолин.
Ученые протестировали свою модель на популярных наборах данных, таких как MS COCO, LIVE in the Wild, TID2013 и PIPAL. Они выяснили, что изображения с сильными искажениями, такими как шум или размытие, более подвержены состязательным атакам, а высококачественные изображения, наоборот, демонстрируют устойчивость. Также исследователи показали, что некоторые метрики качества, например, MDTVSFA, более восприимчивы к атакам, чем другие.
Разработанная модель IRAA показала точность предсказаний устойчивости изображений на уровне 90,6%, что делает ее мощным инструментом для анализа и оценки устойчивости изображений к состязательным атакам.
Результаты этого исследования могут применяться в различных сферах. В компьютерном зрении метод поможет повысить надежность нейросетей, анализирующих изображения, что особенно важно для систем автоматической идентификации, распознавания объектов и других задач машинного обучения. В сфере защиты данных разработка позволит избежать фальсификации визуальной информации, предотвращая манипуляции с изображениями, которые могут использоваться в медиа, рекламе или даже в кибербезопасности. В фото- и видеообработке новый метод обеспечит создание более качественных алгоритмов улучшения изображений, минимизируя вероятность обмана метрик качества и делая автоматические системы редактирования более объективными. В мультимедийных системах он поможет обеспечивать справедливую и точную оценку качества изображений и видео, что критично для потоковых сервисов, видеоплатформ и цифрового контента. Использование предложенного метода позволит повысить доверие к автоматическим системам анализа изображений и защитить их от внешних манипуляций, делая технологии обработки визуальной информации более устойчивыми и надежными.
