- 19,465
- 40
- 8 Ноя 2022
100 моделей ИИ протестировали на безопасность. Почти все провалились.
Искусственный интеллект всё чаще становится помощником программистов, но исследование Veracode показало: за удобством кроется угроза безопасности. Анализ 100 крупных языковых моделей (LLM) выявил тревожную закономерность — почти в половине случаев модели генерируют уязвимый код.
Согласно Для просмотра ссылки Войдиили Зарегистрируйся , в 45% задач сгенерированный код содержал известные уязвимости. И это касается даже новых и мощных моделей. За два года ситуация практически не изменилась, несмотря на технологический прогресс.
Тестирование проводилось на 80 задачах по четырём языкам программирования — Java, JavaScript, C# и Python. Проверялись наиболее распространённые уязвимости: SQL-инъекции, XSS, лог-инъекции и использование небезопасной криптографии.
Худшие результаты показал Java: только 28,5% решений были безопасны. Лучшими оказались Python (61,7%) и JavaScript (57%). Разработчики связывают это с качеством обучающих данных — Java часто использовался в эпоху до активного изучения SQL-инъекций, и модели могли "научиться" плохим примерам.
Особенно плохо LLM справляются с XSS и лог-инъекциями — проходной балл не превышал 13%. Лучше обстоят дела с SQL-инъекциями и криптографическими ошибками: уровень безопасного кода здесь достигал 80–85%.
Размер модели почти не влияет на результат. Даже LLM с более чем 100 миллиардами параметров показывают те же 50% успеха, что и маленькие модели с менее чем 20 миллиардами.
Исследователи подчеркивают, что LLM, как правило, не умеют "обеззараживать" входные данные, особенно без контекста. Проблема усугубляется тем, что большинство моделей обучались на общедоступном коде с GitHub и других площадок, где нередко встречаются небезопасные примеры — иногда даже намеренно, как в учебных проектах вроде WebGoat.
Veracode предупреждает: компании, которые уже внедряют ИИ в разработку — будь то через open-source, подрядчиков или low-code платформы — могут неосознанно усиливать риск утечки данных и атак.
Гендиректор Val Town Стив Краус в Для просмотра ссылки Войдиили Зарегистрируйся называет такой код "vibe-кодом" — он нестабилен, постоянно ломается и требует серьёзных усилий на отладку. По его словам, "vibe-кодинг" создаёт технический долг с той же скоростью, с какой ИИ генерирует строчки кода. Это может подойти для прототипов, но не для серьёзных проектов.
Искусственный интеллект всё чаще становится помощником программистов, но исследование Veracode показало: за удобством кроется угроза безопасности. Анализ 100 крупных языковых моделей (LLM) выявил тревожную закономерность — почти в половине случаев модели генерируют уязвимый код.
Согласно Для просмотра ссылки Войди
Тестирование проводилось на 80 задачах по четырём языкам программирования — Java, JavaScript, C# и Python. Проверялись наиболее распространённые уязвимости: SQL-инъекции, XSS, лог-инъекции и использование небезопасной криптографии.
Худшие результаты показал Java: только 28,5% решений были безопасны. Лучшими оказались Python (61,7%) и JavaScript (57%). Разработчики связывают это с качеством обучающих данных — Java часто использовался в эпоху до активного изучения SQL-инъекций, и модели могли "научиться" плохим примерам.
Особенно плохо LLM справляются с XSS и лог-инъекциями — проходной балл не превышал 13%. Лучше обстоят дела с SQL-инъекциями и криптографическими ошибками: уровень безопасного кода здесь достигал 80–85%.
Размер модели почти не влияет на результат. Даже LLM с более чем 100 миллиардами параметров показывают те же 50% успеха, что и маленькие модели с менее чем 20 миллиардами.
Исследователи подчеркивают, что LLM, как правило, не умеют "обеззараживать" входные данные, особенно без контекста. Проблема усугубляется тем, что большинство моделей обучались на общедоступном коде с GitHub и других площадок, где нередко встречаются небезопасные примеры — иногда даже намеренно, как в учебных проектах вроде WebGoat.
Veracode предупреждает: компании, которые уже внедряют ИИ в разработку — будь то через open-source, подрядчиков или low-code платформы — могут неосознанно усиливать риск утечки данных и атак.
Гендиректор Val Town Стив Краус в Для просмотра ссылки Войди
- Источник новости
- www.securitylab.ru
