Чем грозит самообучение нейросетей на искусственных данных

РБКHi-Tech

Запрограммированный коллапс

Чем грозит самообучение нейросетей на искусственных данных

Что случится, если нейросети начнут обучаться на данных, которые они же и сгенерировали? Одно из возможных последствий — скорая деградация моделей ИИ, утверждает авторитетное издание VentureBeat, специализирующееся на новых технологиях.

ИИ в замешательстве

Создание контента при помощи нейросетей уже стало массовой практикой, обращают внимание авторы статьи The AI feedback loop: Researchers warn of 'model collapse' as AI trains on AI-generated content, опубликованной в VentureBeat. Так, половина сотрудников McKinsey применяют в своей работе инструменты генеративного ИИ, и эта тенденция только усиливается. Сегодня основная часть исходных данных, на которых обучаются нейросети, в основном создана людьми — это книги, статьи, фотографии и так далее. Но что произойдет, когда ИИ начнет обучаться на контенте, сгенерированном другим ИИ?

Группа исследователей из Великобритании и Канады опубликовала статью, в которой рассматривается именно этот вопрос. Их выводы неутешительны: использование для обучения ИИ данных, сгенерированных другими ИИ, приводит к необратимым дефектам в результирующих моделях.

Исследователи обратили особое внимание на вероятностные распределения для текстовых и генеративных моделей ИИ, генерирующих изображения. Выяснилось, что обучение на данных, произведенных другими моделями, вызывает «коллапс моделей» — дегенеративный процесс, при котором со временем модели забывают истинное распределение исходных данных. И происходит это довольно быстро.

Постепенно ошибки в сгенерированных данных накапливаются, в результате чего модели, обучающиеся на таких данных, начинают еще больше искажать реальность. Это приводит к тому, что они все больше ошибаются в своих ответах и генерируемом контенте, а также производят все меньше неповторяющегося, непротиворечивого контента.

«Аналогично тому, как мы заполнили океаны пластиковым мусором и атмосферу углекислым газом, мы собираемся заполнить интернет бессмысленной болтовней. Это усложнит обучение новых моделей путем парсинга веб-сайтов, давая преимущество компаниям, которые уже это сделали или которые контролируют доступ к человеческим интерфейсам», — заявил один из авторов статьи, профессор безопасности инженерии в Кембриджском университете и Университете Эдинбурга Росс Андерсон.

Почему происходит коллапс

Проблему деградации качества в продуктах ИИ можно сравнить с увеличением артефактов при многократном копировании изображения в формате JPEG. В качестве другой аналогии можно привести комедию 1996 года «Множество», в которой главный герой клонирует себя, а затем клонирует клонов, что приводит к экспоненциальному снижению уровня интеллекта у каждого нового клона.

Коллапс моделей происходит, когда данные, сгенерированные моделями ИИ, «загрязняют» тренировочный набор для последующих моделей. «Оригинальные антропогенные данные лучше отражают реальный мир, поскольку содержат в том числе неправдоподобную информацию, — объяснил Илья Шумайлов, один из авторов работы. — Генеративные модели, однако, имеют тенденцию к переобучению на популярных данных и часто неправильно понимают или интерпретируют менее популярные данные».

Если модель обучается на дата-сете c 10 изображениями синих котов и 90 желтых, ИИ запоминает, что желтые коты преобладают и показывает даже синих котов желтоватыми, а на запрос о новых данных выдает зеленых котов. С последующими циклами синий цвет и вовсе заменяется зеленоватым, переходя затем в желтый.

«Загрязнение» данными, сгенерированными ИИ, приводит к искажению восприятия реальности моделями. Даже когда исследователи обучали модели не создавать слишком много повторяющихся ответов, они обнаружили, что коллапс все равно происходит, поскольку ИИ начинает выдавать ошибочные ответы, чтобы избежать частого повторения данных.

Как решить проблему

Исследователи выделили два пути, которые позволяют избежать коллапса модели.

Первый — сохранение оригинального дата-сета, полностью или в основном созданного людьми, и предотвращение его смешивания с данными от ИИ. В этом случае модель можно периодически переобучать на этих данных или полностью обновлять с их использованием. Второй путь, который может уберечь от деградации в качестве ответов и сократить количество ошибок, — повторное введение в обучение ИИ нового очищенного антропогенного дата-сета.

Исследователи отмечают, что это потребует создания некоего механизма массовой маркировки или же усилий со стороны создателей контента или ИИ-компаний, которые позволят разделить данные от людей и машин. Также важно обеспечить справедливое представление менее популярной информации в дата-сете как с точки зрения количества, так и качества и точного описания характеристик. Это серьезный вызов, поскольку модели сложно обучать на редких событиях.

O'qishni davom ettirish uchun tizimga kiring. Bu tez va bepul.

Roʻyxatdan oʻtish orqali men foydalanish shartlari 

Tavsiya etilgan maqolalar

Правила игры для промышленного майнинга Правила игры для промышленного майнинга

Что думают эксперты о легализации добычи криптовалют

РБК
С акцентом на бохо С акцентом на бохо

Современное пространство с элементами бохо, отражающее тенденцию к эклектике

Идеи Вашего Дома
Слово редактора Слово редактора

На самом деле, нет более открытых миру людей, чем яхтсмены

Y Magazine
Заполняя белые места на карте Заполняя белые места на карте

Некоторые ключевые вехи экспедиционной истории РГО

Вокруг света
Наука и жизнь. Архив: 1941—1945 годы Наука и жизнь. Архив: 1941—1945 годы

О чем писали в журнале «Наука и жизнь» в годы Великой Отечественной войны?

Наука и жизнь
«Кто богат детьми, богат и любовью, а любовь всего светлее»: Н.М. Карамзин – отец семейства «Кто богат детьми, богат и любовью, а любовь всего светлее»: Н.М. Карамзин – отец семейства

Николай Карамзин известен как «первый наш историк и последний летописец»

Знание – сила
Последняя загадка Пушкина Последняя загадка Пушкина

«Пушкин и Погорелое Городище» – тема, вынесенная на периферию пушкинистики

Знание – сила
Вино и дюны Вино и дюны

Район Колареш, единственное место в Португалии, где виноград растет из песка

Seasons of life
Белеет парус на болоте Белеет парус на болоте

Чем так уникален нерукотворный природный парус — белокрыльник болотный?

Наука и жизнь
Перелет–2023 «Байкальская кругосветка» Перелет–2023 «Байкальская кругосветка»

«Байкальская кругосветка» – воздушное путешествие вокруг знаменитого озера

Наука и техника
Будет не жирно? Будет не жирно?

Какой вклад в борьбу с ожирением могут внести производители продуктов питания

Агроинвестор
Экологическая модернизация Экологическая модернизация

Как разные страны переосмысливают управление органическими отходами

Агроинвестор
Он пережил и многое, и многих… Он пережил и многое, и многих…

Петр Вяземский, князь. О нем вспоминают обычно в связи с А. С. Пушкиным

Знание – сила
Мир экзопланет: как на орбитах у других солнц были открыты «непланеты» Мир экзопланет: как на орбитах у других солнц были открыты «непланеты»

О том, как обнаруживаются экзопланеты и какими они бывают

Наука и техника
Электрокопия Электрокопия

Игрушка для богатых мальчиков — электрическая копия Bentley 4½ litre ‘Blower’

Автопилот
Надеяться и делать Надеяться и делать

О стрит-арте: почему Португалия — не лучшая страна для современного художника

Seasons of life
Красная машина Красная машина

Советский автопром глазами ЦРУ

Автопилот
Недолгий триумф «арийской физики» Недолгий триумф «арийской физики»

В какой тупик может завести себя наука, если станет служанкой нацизма

Знание – сила
Один + один Один + один

Как на улочках Байрру-Алту живет и принимает гостей арт-проект Oficina Marques

Seasons of life
Болотные семафоры Болотные семафоры

Дупеля летят к нам из жарких поясов экваториальной Африки...

Наука и жизнь
Смелая палитра Смелая палитра

Эта небольшая квартира не производит впечатления маленького пространства

Идеи Вашего Дома
Жизнь вечная Жизнь вечная

Глагол — это жизнь как она есть

Seasons of life
«Ползи, улитка…» «Ползи, улитка…»

Куда деться от городской суеты? Создать город без суеты!

Вокруг света
Место в топе Место в топе

Самый обсуждаемый дебют BMW на Concorso d’Eleganza — концепт-кар Speedtop

Автопилот
Испанские авианосцы на мировом рынке Испанские авианосцы на мировом рынке

Что помогло определиться с основными требованиями к универсальному авианосцу

Наука и техника
Динозавры за Полярным кругом Динозавры за Полярным кругом

Как жили динозавры и их соседи в условиях крайнего Севера или Юга

Наука и техника
Скромные великаны Скромные великаны

В Португалии больше потерь и сожалений об утраченном величии, чем приобретений

Seasons of life
Композиты в судостроении Композиты в судостроении

Что же такое композиционные материалы (композиты)?

Наука и техника
Наука в фантастике: эпизоды истории Наука в фантастике: эпизоды истории

Как в СССР подчинили фантастику пропаганде социалистических достижений

Наука и жизнь
История продолжается История продолжается

В этом интерьере соединились элементы «родной» архитектуры дома и mid-century

Идеи Вашего Дома
Открыть в приложении