- 14,593
- 22
- 8 Ноя 2022
Исследователи ищут методы обучения ИИ без вреда для людей.
Исследователи выяснили, что синтетические данные, широко применяемые для обучения нейросетей, могут содержать опасные искажения и «галлюцинации».
Синтетические данные — это искусственно созданная информация, которая имитирует характеристики реальных данных. Их получают с помощью алгоритмов, анализирующих настоящие датасеты и генерирующих новые записи с похожими статистическими свойствами. Такой подход позволяет создавать большие объемы информации для обучения ИИ, сохраняя при этом конфиденциальность исходных данных и заполняя пробелы.
Команда под руководством доктора Саги Хаджишариф провела эксперимент с материалами переписи населения США 1990 года. Для создания синтетической версии списка использовалась генеративно-состязательная сеть ( GAN ). Полученные результаты заставили ученых усомниться в надежности подобных методов.
Прежде всего, исследователи заметили, что некоторые группы населения полностью исчезли из сгенерированного набора. Например, в исходных данных были представлены иммигранты из 40 стран, но в синтетической версии осталось только 31. Девять государств просто выпали из поля зрения ИИ.
«Овдовевшие женщины, работающие в технической поддержке» (важная, но малочисленная категория), также исчезли из выборки.
Еще более тревожным открытием стало появление так называемых Для просмотра ссылки Войдиили Зарегистрируйся . Нейросеть создала несуществующие категории людей, например «никогда не состоявшие в браке мужья» или «женатые и одинокие» одновременно. В искусственном наборе обнаружилось более 100 записей о холостяках с доходом менее 50 000 долларов в год.
Проблема усугубляется тем, что синтетические данные широко применяются для обучения ИИ-моделей в случаях нехватки реальной информации. Они помогают обойти ограничения конфиденциальности, расширить существующие наборы и даже сбалансировать их, если в исходных материалах есть перекосы.
В некоторых аспектах искусственно созданная информация показала хорошие результаты. Например, распределение возрастов в синтетическом наборе было близко к оригиналу. Более того, некоторые сложные взаимосвязи, например соотношение возраста, дохода и пола, воспроизводились довольно точно. Исследователи назвали это явление «интерсекциональной точностью».
Однако главный вопрос заключается в том, где проходит граница между полезными и опасными искажениями. Если двух- и трехкомпонентные «галлюцинации» уже вызывают беспокойство, что можно сказать о более сложных паттернах? На каком этапе синтетические данные становятся неактуальными или даже представляют опасность?
Ученые подчеркивают, что сгенерированная информация по своей природе должна отличаться от оригинала, иначе она была бы просто копией. Поэтому некоторые «галлюцинации» неизбежны и даже желательны — они могут расширять и дополнять исходный набор. Проблема в том, как отличить полезные изменения от вредных искажений.
Особую тревогу вызывает отсутствие стандартизированного способа маркировки синтетических данных. Они часто смешиваются с реальными, и при передаче наборов другим исследователям невозможно определить, каким частям действительно можно доверять.
Ученые настаивают на создании понятной и универсальной системы маркировки искусственно сгенерированных данных и возможных отклонений в них. Это критически важно, поскольку системы ИИ все активнее применяются в самых разных сферах: от прогнозирования поведения людей до управления общественными процессами, медицины и государственного управления.
На первый взгляд, проблема «интерсекциональных галлюцинаций» может показаться менее заметной, чем, скажем, нелепые изображения рук с 15 пальцами или абсурдные советы вроде «намажьте пиццу клеем». Однако именно такие неочевидные искажения в статистике и цифрах способны оказать наиболее серьезное влияние на нашу повседневную жизнь.
Исследователи выяснили, что синтетические данные, широко применяемые для обучения нейросетей, могут содержать опасные искажения и «галлюцинации».
Синтетические данные — это искусственно созданная информация, которая имитирует характеристики реальных данных. Их получают с помощью алгоритмов, анализирующих настоящие датасеты и генерирующих новые записи с похожими статистическими свойствами. Такой подход позволяет создавать большие объемы информации для обучения ИИ, сохраняя при этом конфиденциальность исходных данных и заполняя пробелы.
Команда под руководством доктора Саги Хаджишариф провела эксперимент с материалами переписи населения США 1990 года. Для создания синтетической версии списка использовалась генеративно-состязательная сеть ( GAN ). Полученные результаты заставили ученых усомниться в надежности подобных методов.
Прежде всего, исследователи заметили, что некоторые группы населения полностью исчезли из сгенерированного набора. Например, в исходных данных были представлены иммигранты из 40 стран, но в синтетической версии осталось только 31. Девять государств просто выпали из поля зрения ИИ.
«Овдовевшие женщины, работающие в технической поддержке» (важная, но малочисленная категория), также исчезли из выборки.
Еще более тревожным открытием стало появление так называемых Для просмотра ссылки Войди
Проблема усугубляется тем, что синтетические данные широко применяются для обучения ИИ-моделей в случаях нехватки реальной информации. Они помогают обойти ограничения конфиденциальности, расширить существующие наборы и даже сбалансировать их, если в исходных материалах есть перекосы.
В некоторых аспектах искусственно созданная информация показала хорошие результаты. Например, распределение возрастов в синтетическом наборе было близко к оригиналу. Более того, некоторые сложные взаимосвязи, например соотношение возраста, дохода и пола, воспроизводились довольно точно. Исследователи назвали это явление «интерсекциональной точностью».
Однако главный вопрос заключается в том, где проходит граница между полезными и опасными искажениями. Если двух- и трехкомпонентные «галлюцинации» уже вызывают беспокойство, что можно сказать о более сложных паттернах? На каком этапе синтетические данные становятся неактуальными или даже представляют опасность?
Ученые подчеркивают, что сгенерированная информация по своей природе должна отличаться от оригинала, иначе она была бы просто копией. Поэтому некоторые «галлюцинации» неизбежны и даже желательны — они могут расширять и дополнять исходный набор. Проблема в том, как отличить полезные изменения от вредных искажений.
Особую тревогу вызывает отсутствие стандартизированного способа маркировки синтетических данных. Они часто смешиваются с реальными, и при передаче наборов другим исследователям невозможно определить, каким частям действительно можно доверять.
Ученые настаивают на создании понятной и универсальной системы маркировки искусственно сгенерированных данных и возможных отклонений в них. Это критически важно, поскольку системы ИИ все активнее применяются в самых разных сферах: от прогнозирования поведения людей до управления общественными процессами, медицины и государственного управления.
На первый взгляд, проблема «интерсекциональных галлюцинаций» может показаться менее заметной, чем, скажем, нелепые изображения рук с 15 пальцами или абсурдные советы вроде «намажьте пиццу клеем». Однако именно такие неочевидные искажения в статистике и цифрах способны оказать наиболее серьезное влияние на нашу повседневную жизнь.
- Источник новости
- www.securitylab.ru
