- 14,594
- 22
- 8 Ноя 2022
Почему теория игр не помогает справиться с угрозами?
Ученые из Федеральной политехнической школы Лозанны в Швейцарии Для просмотра ссылки Войдиили Зарегистрируйся принципиально новый механизм защиты от кибератак и фрода для систем искусственного интеллекта. Метод позволяет повысить надежность и предсказуемость работы нейросетей и других алгоритмов машинного обучения.
В основе метода лежит модернизированная схема обучения. Традиционно процесс построен на принципах теории игр, которые, по мнению экспертов, имеют ряд недостатков.
Новая технология может обеспечить безопасность практически всех сервисов, использующих возможности ИИ: от видеохостингов вроде YouTube до беспилотного транспорта.
Основная проблема стандартного подхода в том, что борьба со злоумышленниками всегда рассматривалась как игра с нулевой суммой. Если одна сторона выигрывает, другая проигрывает. Так ИИ гораздо сложнее обучить самозащите.
YouTube, например, содержит гигантское количество роликов, анализ которых вручную совершенно невозможен. ИИ решает эту задачу, классифицируя видео автоматически и проверяя, соответствует ли его определенным стандартам.
Однако системы классификации – довольно уязвимый механизм. Мошенники, применяя тактики, называемые в теории игр "адверсариальными", могут внедрять едва заметные изменения в видео. Например, добавлять фоновый шум, который сбивает ИИ с толку. Именно таким образом непристойные видео «проходят проверку» - не помогает даже родительский контроль.
Ученые решили отказаться от старой парадигмы в пользу непрерывно адаптирующейся модели. Защитник ИИ и потенциальный злоумышленник теперь будут выполнять разные целевые функции, что позволит моделировать реалистичные сценарии атак.
Благодаря такой тренировке нейросети учатся противодействовать самым разным угрозам - от безвредных махинаций забавы ради до целенаправленного взлома крупных систем.
Технология уже прошла успешное тестирование на механизмах распознавания изображений и видео. В дальнейшем ее хотят адаптировать и для других задач.
Ученые из Федеральной политехнической школы Лозанны в Швейцарии Для просмотра ссылки Войди
В основе метода лежит модернизированная схема обучения. Традиционно процесс построен на принципах теории игр, которые, по мнению экспертов, имеют ряд недостатков.
Новая технология может обеспечить безопасность практически всех сервисов, использующих возможности ИИ: от видеохостингов вроде YouTube до беспилотного транспорта.
Основная проблема стандартного подхода в том, что борьба со злоумышленниками всегда рассматривалась как игра с нулевой суммой. Если одна сторона выигрывает, другая проигрывает. Так ИИ гораздо сложнее обучить самозащите.
YouTube, например, содержит гигантское количество роликов, анализ которых вручную совершенно невозможен. ИИ решает эту задачу, классифицируя видео автоматически и проверяя, соответствует ли его определенным стандартам.
Однако системы классификации – довольно уязвимый механизм. Мошенники, применяя тактики, называемые в теории игр "адверсариальными", могут внедрять едва заметные изменения в видео. Например, добавлять фоновый шум, который сбивает ИИ с толку. Именно таким образом непристойные видео «проходят проверку» - не помогает даже родительский контроль.
Ученые решили отказаться от старой парадигмы в пользу непрерывно адаптирующейся модели. Защитник ИИ и потенциальный злоумышленник теперь будут выполнять разные целевые функции, что позволит моделировать реалистичные сценарии атак.
Благодаря такой тренировке нейросети учатся противодействовать самым разным угрозам - от безвредных махинаций забавы ради до целенаправленного взлома крупных систем.
Технология уже прошла успешное тестирование на механизмах распознавания изображений и видео. В дальнейшем ее хотят адаптировать и для других задач.
- Источник новости
- www.securitylab.ru
