Чем грозит самообучение нейросетей на искусственных данных

РБКHi-Tech

Запрограммированный коллапс

Чем грозит самообучение нейросетей на искусственных данных

Что случится, если нейросети начнут обучаться на данных, которые они же и сгенерировали? Одно из возможных последствий — скорая деградация моделей ИИ, утверждает авторитетное издание VentureBeat, специализирующееся на новых технологиях.

ИИ в замешательстве

Создание контента при помощи нейросетей уже стало массовой практикой, обращают внимание авторы статьи The AI feedback loop: Researchers warn of 'model collapse' as AI trains on AI-generated content, опубликованной в VentureBeat. Так, половина сотрудников McKinsey применяют в своей работе инструменты генеративного ИИ, и эта тенденция только усиливается. Сегодня основная часть исходных данных, на которых обучаются нейросети, в основном создана людьми — это книги, статьи, фотографии и так далее. Но что произойдет, когда ИИ начнет обучаться на контенте, сгенерированном другим ИИ?

Группа исследователей из Великобритании и Канады опубликовала статью, в которой рассматривается именно этот вопрос. Их выводы неутешительны: использование для обучения ИИ данных, сгенерированных другими ИИ, приводит к необратимым дефектам в результирующих моделях.

Исследователи обратили особое внимание на вероятностные распределения для текстовых и генеративных моделей ИИ, генерирующих изображения. Выяснилось, что обучение на данных, произведенных другими моделями, вызывает «коллапс моделей» — дегенеративный процесс, при котором со временем модели забывают истинное распределение исходных данных. И происходит это довольно быстро.

Постепенно ошибки в сгенерированных данных накапливаются, в результате чего модели, обучающиеся на таких данных, начинают еще больше искажать реальность. Это приводит к тому, что они все больше ошибаются в своих ответах и генерируемом контенте, а также производят все меньше неповторяющегося, непротиворечивого контента.

«Аналогично тому, как мы заполнили океаны пластиковым мусором и атмосферу углекислым газом, мы собираемся заполнить интернет бессмысленной болтовней. Это усложнит обучение новых моделей путем парсинга веб-сайтов, давая преимущество компаниям, которые уже это сделали или которые контролируют доступ к человеческим интерфейсам», — заявил один из авторов статьи, профессор безопасности инженерии в Кембриджском университете и Университете Эдинбурга Росс Андерсон.

Почему происходит коллапс

Проблему деградации качества в продуктах ИИ можно сравнить с увеличением артефактов при многократном копировании изображения в формате JPEG. В качестве другой аналогии можно привести комедию 1996 года «Множество», в которой главный герой клонирует себя, а затем клонирует клонов, что приводит к экспоненциальному снижению уровня интеллекта у каждого нового клона.

Коллапс моделей происходит, когда данные, сгенерированные моделями ИИ, «загрязняют» тренировочный набор для последующих моделей. «Оригинальные антропогенные данные лучше отражают реальный мир, поскольку содержат в том числе неправдоподобную информацию, — объяснил Илья Шумайлов, один из авторов работы. — Генеративные модели, однако, имеют тенденцию к переобучению на популярных данных и часто неправильно понимают или интерпретируют менее популярные данные».

Если модель обучается на дата-сете c 10 изображениями синих котов и 90 желтых, ИИ запоминает, что желтые коты преобладают и показывает даже синих котов желтоватыми, а на запрос о новых данных выдает зеленых котов. С последующими циклами синий цвет и вовсе заменяется зеленоватым, переходя затем в желтый.

«Загрязнение» данными, сгенерированными ИИ, приводит к искажению восприятия реальности моделями. Даже когда исследователи обучали модели не создавать слишком много повторяющихся ответов, они обнаружили, что коллапс все равно происходит, поскольку ИИ начинает выдавать ошибочные ответы, чтобы избежать частого повторения данных.

Как решить проблему

Исследователи выделили два пути, которые позволяют избежать коллапса модели.

Первый — сохранение оригинального дата-сета, полностью или в основном созданного людьми, и предотвращение его смешивания с данными от ИИ. В этом случае модель можно периодически переобучать на этих данных или полностью обновлять с их использованием. Второй путь, который может уберечь от деградации в качестве ответов и сократить количество ошибок, — повторное введение в обучение ИИ нового очищенного антропогенного дата-сета.

Исследователи отмечают, что это потребует создания некоего механизма массовой маркировки или же усилий со стороны создателей контента или ИИ-компаний, которые позволят разделить данные от людей и машин. Также важно обеспечить справедливое представление менее популярной информации в дата-сете как с точки зрения количества, так и качества и точного описания характеристик. Это серьезный вызов, поскольку модели сложно обучать на редких событиях.

O'qishni davom ettirish uchun tizimga kiring. Bu tez va bepul.

Roʻyxatdan oʻtish orqali men foydalanish shartlari 

Tavsiya etilgan maqolalar

Первые сто Первые сто

РБК составил новый ренкинг самых торгуемых публичных компаний России

РБК
Десять цветов Десять цветов

Самые древние и почитаемые традиционные ремесла – часть культурного кода Мьянмы

Вокруг света
«Двойка» за хорошее поведение «Двойка» за хорошее поведение

BMW M2 Gran Coupe: баварское купе, которое на самом деле седан

Автопилот
Растениеводы в поисках маржи Растениеводы в поисках маржи

На чем смогут заработать аграрии в 2025 году

Агроинвестор
«Картинки» натуралиста «Картинки» натуралиста

Что отражено в русских названиях птиц из семейства куликов?

Наука и жизнь
Новости науки Новости науки

Обнаруженная в ранней Вселенной грандиозная галактика и другие новости науки

Знание – сила
Сарацинка, воительница, христианка Сарацинка, воительница, христианка

В эпоху джахилийи у разных племен бедуинов положение женщин различалось

Знание – сила
Жила-была золотая рыбка Жила-была золотая рыбка

Как золотые рыбки из аквариумов угрожают экологии

Наука и жизнь
Авианосцы ВМС Индии XXI века Авианосцы ВМС Индии XXI века

История постройки авианосца «Викрант»

Наука и техника
Техпарад Техпарад

Выстрел «Авророй», космос на 3D-принтере и тактильные виртуальные переживания

ТехИнсайдер
Лингвистические фантомы Лингвистические фантомы

Как в русском языке появляются псевдоанглицизмы

Наука и жизнь
Плетущие судьбы Плетущие судьбы

Послания, зашифрованные в орнаментах и узорах России

Вокруг света
Верни мой каменный топор Верни мой каменный топор

Вновь изобрести технологии каменного века занимательно, но зачем это нужно?

Вокруг света
Апрель: «нашествие» хохлаток Апрель: «нашествие» хохлаток

Хохлатки-эфемероиды — радостный вскрик пробуждающейся природы

Наука и жизнь
Неуместные следы и водоплавающий единорог: злоключения Карла Бау Неуместные следы и водоплавающий единорог: злоключения Карла Бау

«Научный» креационизм. Мифы и предубеждения

Наука и техника
Гладкая мускулатура самолета – электродвигатели Гладкая мускулатура самолета – электродвигатели

Как выглядят авиационные электродвигатели, где установлены и как управляются?

Наука и техника
Непростая материя Непростая материя

Секреты, которые скрывают узоры ивановских тканей

Вокруг света
Липецк: за рулем и пешком Липецк: за рулем и пешком

Как в Липецкой области мастера восстанавливают связь между прошлым и настоящим

Вокруг света
Индейка на взлете Индейка на взлете

Российское производство мяса индейки выросло почти на 4%

Агроинвестор
Когда медицинские практики прошлого у нас в крови… Когда медицинские практики прошлого у нас в крови…

На протяжении почти 2000 лет для лечения болезней использовалось кровопускание

Знание – сила
Жизнь в магнитном поле Жизнь в магнитном поле

Как изучают незаметные для органов чувств магнитные эффекты

Наука и жизнь
Керосиновая история Керосиновая история

Жизнь в послевоенном социализме делится на «время керосина» и «время газа»

Знание – сила
Вновь о темной материи Вновь о темной материи

Проблема темной материи всерьез привлекает ученых

Знание – сила
Зажигаем звезды Зажигаем звезды

Подборка историй о людях, которые двигают прогресс небывалым

ТехИнсайдер
IDеальное преступление IDеальное преступление

Четыре года назад «Популярная механика» опубликовала свой первый кибердетектив

ТехИнсайдер
Китайское техно Китайское техно

Краткая история технологического идеализма

ТехИнсайдер
Если на месте не сидится Если на месте не сидится

Все существа, начиная с самых первых, неустанно пытались обрести движение

Наука и жизнь
Возвращение гребного колеса Возвращение гребного колеса

Первые упоминания о гребном колесе относятся еще к древнейшим временам...

Наука и техника
Время спать Время спать

Хотите впасть в спячку до весны? Теоретически для этого нет никаких препятствий

ТехИнсайдер
Островский – революция в русском театре Островский – революция в русском театре

Гончаров, известный трилогией на букву «О», был интересным и метким критиком

Знание – сила
Открыть в приложении