Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБКHi-Tech

Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

Автор: София Труцуненко, методический лид направления Data Science школы IT-профессий Skillfactory

Фото: Михаил Гребенщиков / РБК

Любой, кто работал с большими моделями ИИ (ChatGPT, Midjourney), знает, что сгенерированные тексты и изображения часто требуют коррекции или дополнительных уточнений. Нейросеть может придумывать цифры, создавать фальшивые объекты или признаки, которых на самом деле не было в исходных данных. Это довольно частое явление для больших генеративных моделей, которое еще называют галлюцинациями. Но за неправильными результатами могут скрываться не только ошибки модели, но и злонамеренные действия — отравление данных.

Что такое отравление данных

Отравление данных (data poisoning) — это атака на машинное обучение, во время которой злоумышленник вводит вредоносные данные в обучающий набор для нарушения работы алгоритма обучения и снижения его эффективности.

Чтобы понять, как работает отравление данных, нужно разобраться, как в общем работают алгоритмы машинного обучения. Изначально собирается большой набор данных, и от того, какие именно данные взяли, зависит результат. Следующий шаг — привести данные к одному формату, а для некоторых задач дополнительно снабдить их подсказками для алгоритма (разметкой). Далее алгоритм находит в них признаки и закономерности.

И когда обученный алгоритм сталкивается с данными, которые он еще не видел, он может решить эту задачу, опираясь на те правила, которые он для себя создал ранее. Отравление данных нарушает этот процесс, подмешивая в обучающий набор вредоносные сведения, которые искажают или запутывают обученный алгоритм.

Рассмотрим некоторые примеры таких атак.

  • Внесение шума (Noise Injection): добавление случайных или искаженных данных в обучающий набор.
  • Удаление данных (Data Removal): исключение части данных из обучающего набора.
  • Вставка ложных объектов (Object Insertion): добавление несуществующих или ложных объектов в обучающий набор. Сюда же входят скрытые надписи, вотермарки, изображения.
  • Изменение меток классов (Label Flipping): изменение или искажение разметки классов в обучающем наборе. То есть данные не добавляются, но происходит подмена: например, картинки с кошками подписываются как картинки с собаками, и наоборот.

Но гораздо интереснее те методы, которые нельзя заметить, ведь современные отравленные данные могут выглядеть нормально для человеческого глаза, но при этом они тоже будут ломать алгоритм.

Одним из самых громких примеров отравления данных является программа Nightshade, созданная исследователями Чикагского университета. Это ответ на достаточно больную этическую тему для больших генеративных ИИ-моделей — проблему авторского права.

Чтобы обучить качественную модель на уровне DALL-E и Midjourney, нужно не просто много данных, нужно очень много данных. И многие большие модели не обладают правами на работы, которые использовались в обучении. А результат работы — сгенерированная картинка, которая не имеет признаков интеллектуальной собственности. Nightshade незаметно вставляет признаки одного объекта на картинки с другим. Там, где человеческий глаз увидит собаку, нейронная сеть может воспринимать признаки и контуры другого объекта, например кота. Это позволяет создавать искажения в изображениях, которые остаются незамеченными человеком, но влияют на работу модели искусственного интеллекта, обученной на этих данных. Изображения меняются таким образом, что видимая разница минимальна.

Зоны риска

Отравление данных — это очень серьезный метод воздействия на системы искусственного интеллекта, он может привести к различным по степени негативным последствиям в зависимости от контекста и особенностей атаки. На эффективность отравления данных влияют степень его скрытности и сложность обнаружения изменений.

Цели атаки и контекст также влияют на последствия — от обмана локальных систем безопасности до воздействия на масштабные финансовые или медицинские системы.

Сейчас отравление данных существует и на уровне прикладных инструментов для незащищенных некрупных систем, и как глобальная угроза безопасности, которая изучается ведущими учеными и отраслевыми специалистами.

Искусственный интеллект внедряется во все чувствительные сферы нашей жизни: финансы, медицину, пропускные системы и даже поиск преступников. Последствия отравления данных могут быть катастрофическими. Вот несколько примеров.

Распознавание лиц: злоумышленник может добавить в обучающий набор чужие изображения лиц, взятые из открытых источников. Это может привести к тому, что невиновного человека задержат правоохранительные органы.

Медицинские данные: подмена истории болезни пациента или результатов анализов в медицинских приложениях. Такая атака может привести к ложному диагнозу.

Финансовые данные: из-за добавления фальшивых транзакций или ухищрений в финансовые данные человеку могут предъявить необоснованные обвинения в финансовых махинациях. А атака большего масштаба может спровоцировать дестабилизацию рынка.

Дорожная ситуация (беспилотные автомобили): злоумышленник может добавить деформированные дорожные знаки или маркировку на дорогах в систему распознавания. Это может привести к авариям и несчастным случаям.

Способы защиты

Чтобы минимизировать риски отравления данных, необходим системный подход к кибербезопасности. С одной стороны, он должен включать традиционные методы: мониторинг сетей и использование брандмауэров, антивирусов и обновление программного обеспечения. Кроме того, для обнаружения вредоносных воздействий алгоритмами машинного обучения могут решаться такие задачи, как мониторинг аномалий, фильтрация и валидация данных после обучения.

Специалисту, работающему с большими моделями и сложными признаками, важно регулярно мониторить и изучать данные, которые он использовал для обучения моделей искусственного интеллекта. Это позволит своевременно выявлять подозрительные или аномальные паттерны, которые могут свидетельствовать о внедрении отравленных данных.

O'qishni davom ettirish uchun tizimga kiring. Bu tez va bepul.

Roʻyxatdan oʻtish orqali men foydalanish shartlari 

Tavsiya etilgan maqolalar

Что породишь, то и пародируешь Что породишь, то и пародируешь

10 комедий, которые высмеивают киноклише

Weekend
Кубок «Америки»: мифы, времена и люди Кубок «Америки»: мифы, времена и люди

Как и благодаря кому Кубок «Америки» обрел свой уникальный статус?

Y Magazine
Ольга Сварник: «Мозгу постоянно нужна новизна» Ольга Сварник: «Мозгу постоянно нужна новизна»

О мире, где человек вынужден конкурировать с нейросетями

РБК
Сейсмограф князя Голицына Сейсмограф князя Голицына

О вкладе Бориса Голицына в мировую науку — беседа с Георгием Голицыным

Знание – сила
Вселенная Майнкрафта Вселенная Майнкрафта

В кубическом мире строят, копают и выживают более 130 миллионов игроков

Вокруг света
Братья «Не-Пушкины» Братья «Не-Пушкины»

Почему Александр Пушкин не писал о своих троюродных дедах — Сергее и Михаиле?

Знание – сила
Пэтфуд как бизнес Пэтфуд как бизнес

Как идет импортозамещение на рынке кормов для непродуктивных домашних животных

Агроинвестор
Подводные лодки с воздухонезависимыми силовыми установками в российском и советском флоте Подводные лодки с воздухонезависимыми силовыми установками в российском и советском флоте

Подводные лодки с двигателями внутреннего сгорания замкнутого цикла

Наука и техника
Планета на песке Планета на песке

Попробуем разобраться в климатической истории планеты Дюна и химии меланжа

ТехИнсайдер
Настоящее и будущее веб-технологий в цифрах и фактах Настоящее и будущее веб-технологий в цифрах и фактах

Какие цифры описывают Всемирную паутину?

РБК
Чистая работа Чистая работа

Как избавляться от цифрового мусора и кому можно поручить эту работу?

РБК
Евгеника: хотели как лучше... Евгеника: хотели как лучше...

Как евгеника стала синтезом теории вырождения, теории Дарвина и научного расизма

Знание – сила
Наука в фантастике: эпизоды истории Наука в фантастике: эпизоды истории

Утопия Богданова не стала образцом для общества, но его романы перечитывали

Наука и жизнь
Попали в историю Попали в историю

Какие цифровые данные оставляют пользователи в Сети и для чего их собирают

РБК
Метод шифрования будущего Метод шифрования будущего

Что такое постквантовая криптография и от каких киберугроз она сможет защитить

РБК
Золотая комната Золотая комната

К дикому племени спускается сияющий человек в скафандре и протягивает к ним руку

Знание – сила
Окинавский пастушок Окинавский пастушок

Единственная нелетающая птица Японии — ямбару-куина, или окинавский пастушок

Наука и жизнь
Екатерина Великая в Москве Екатерина Великая в Москве

Екатерина Великая не любила Москву, но так ли всё однозначно?

Знание – сила
Краса всей зелени известной Краса всей зелени известной

Спаржа лекарственная ведёт своё происхождение с берегов Средиземного моря

Наука и жизнь
Гонки вокруг света Гонки вокруг света

Путешествие «леди Сенсация» привлекло внимание прессы и читателей по всему миру

Вокруг света
Вертолет, который смог Вертолет, который смог

Как Ingenuity собирает данные на Марсе

ТехИнсайдер
Просто огонь: Как устроен боевой робот «Папочка» Просто огонь: Как устроен боевой робот «Папочка»

Как надо строить роботов-гладиаторов

ТехИнсайдер
Выиграть жену Выиграть жену

Интеллектуальные игры сопровождали калмыков с детства

Вокруг света
Додекаэдры Древнего Рима Додекаэдры Древнего Рима

Археологов давно волнуют странные предметы, попадающиеся при раскопках в Риме

Наука и жизнь
Вячеслав Дубынин: «Важно помнить, что кроме цифрового мира есть мир реальный» Вячеслав Дубынин: «Важно помнить, что кроме цифрового мира есть мир реальный»

Как человеческий мозг адаптируется к цифровой реальности

РБК
Спаржевый стартап Спаржевый стартап

Олег Жолобенко выращивает деликатесную агрокультуру в Черноземье

Агроинвестор
«Компании снижают градус серьезности» «Компании снижают градус серьезности»

Как перекус новостями и жажда новых зрелищ меняют тренды в индустрии контента

РБК
ИИ и технологии ИИ в мире науки, техники и предпринимательства ИИ и технологии ИИ в мире науки, техники и предпринимательства

Какой правовой статус у искусственного интеллекта?

Наука и техника
Семейный бюджет: с чего начать, чтобы всегда на все хватало Семейный бюджет: с чего начать, чтобы всегда на все хватало

Основные принципы построения семейного бюджета

Наука и техника
Одуванчик: сорняк, еда, лекарство Одуванчик: сорняк, еда, лекарство

Самый распространенный и самый полезный российский сорняк

Наука
Открыть в приложении