Как устроены малые языковые модели и в чем их преимущества перед большими?

РБКHi-Tech

SLM схватывают на лету

Как устроены малые языковые модели и в чем их преимущества перед большими моделями

Автор: Сергей Лукашкин, к. ф.-м. н., эксперт по цифровой трансформации, ранее работал в научно-образовательном центре «Цифровые технологии в образовании» ВШМ СПбГУ

Справка от ChatGPT

SLM (Small Language Model) — в сфере ИИ это языковая модель с ограниченным числом параметров, предназначенная для обработки и предсказания слов или фраз в контексте предыдущих слов. Основная цель SLM — предсказать следующее слово или последовательность слов, исходя из предыдущего контекста. Такие модели используют методы машинного обучения для анализа текста и могут быть обучены на больших корпусах данных для повышения точности предсказаний. SLM широко применяются в задачах обработки естественного языка, например в системах автозамены, автодополнения, в машинном переводе, распознавании речи и генерации текста.

Что такое SLM и LLM

Малые языковые модели, в отличие от больших языковых моделей (LLM), обученных на огромных массивах данных, используют небольшие объемы информации, но лучшего качества, поэтому работают точнее.

Четкого разделения между LLM и SLM пока что нет. Одни относят к большим языковым моделям те, что работают с 100 млн и более параметров, а к малым — от 1 млн до 10 млн. Другие называют цифры 100+ млрд и 10 млрд соответственно. Но речь идет не только о числе параметров, но и объеме данных, физических размерах и нейронной архитектуре. Если упростить, то малая языковая модель — это та, что требует в разы меньше ресурсов при обучении и анализе данных, чем большая.

O'qishni davom ettirish uchun tizimga kiring. Bu tez va bepul.

Roʻyxatdan oʻtish orqali men foydalanish shartlari 

Tavsiya etilgan maqolalar

Елена Витчак: «Мы живем во времена нестандартных решений и нестандартных карьер» Елена Витчак: «Мы живем во времена нестандартных решений и нестандартных карьер»

Какие управленческие навыки станут ключевыми и почему карьера больше не линейна

РБК
Языковая модель Языковая модель

Самые яркие и неожиданные мифы о происхождении языка

Вокруг света
Пришел невод с одною тиной… Пришел невод с одною тиной…

Ученые из Института биологии внутренних вод РАН описали новый вид водорослей

Наука
Три кита пивной отрасли Три кита пивной отрасли

Как идет импортозамещение солода, хмеля и пивоваренного ячменя

Агроинвестор
Ежевичный холм и его обитатели Ежевичный холм и его обитатели

Выход жизни на сушу – вопрос, интересующий не только специалистов

Наука и техника
Тучерезы Тучерезы

Какие современные здания имеют шансы пережить столетия?

ТехИнсайдер
Дроны и наездники Дроны и наездники

Краснодарская компания создала уникальный способ биологической защиты растений

Наука
Одна маленькая лягушка и 10 000 мышей Одна маленькая лягушка и 10 000 мышей

Почему батрахотоксин смертелен для человека, но безвреден для маленькой лягушки?

Наука и жизнь
Золотая жила для агроинвестора Золотая жила для агроинвестора

Сколько стоит зайти на рынок готовой еды

Агроинвестор
Ненасытный интеллект Ненасытный интеллект

Создание ИИ следующих поколений столкнулось с неожиданным препятствием

ТехИнсайдер
Масложировая отрасль снова идет на рекорд Масложировая отрасль снова идет на рекорд

Валовой сбор масличных может превысить 34 млн т

Агроинвестор
Жизнь начинается с растений Жизнь начинается с растений

Как экстремальные условия трансформируют существующие экологические формы

Наука и жизнь
Фонтанные истории Рима Фонтанные истории Рима

Держу пари, никто, даже коренной римлянин, не ответит, сколько в Риме фонтанов

Наука
Наука в фантастике: эпизоды истории Наука в фантастике: эпизоды истории

Смельчаки, которые предлагали читателям космооперу с коммунистическим колоритом

Наука и жизнь
Картошинг и иные способы заработать на миллениалах Картошинг и иные способы заработать на миллениалах

Семь форматов, которые бизнес может развивать для поколения Y

РБК
День… суслика День… суслика

Я протёр глаза и приподнялся на локте: да это же суслик!

Наука и жизнь
Эволюция бургера Эволюция бургера

Почему бывший американский фастфуд в России растет как на дрожжах

РБК
По ту сторону порога По ту сторону порога

Что общего у бани, перекрестка и канализационного люка?

Вокруг света
Искусственный интеллект смотрит в небо Искусственный интеллект смотрит в небо

Как технологии ИИ стали единственным средством для изучения космических глубин

Наука и жизнь
Сеть судного дня Сеть судного дня

Инновационная система, способная обеспечить стабильную работу транспорта

ТехИнсайдер
Заплатка для мозга Заплатка для мозга

Искусственно выращенные клетки головного мозга реагируют на импульсы друг друга

Наука
Атом на ладони Атом на ладони

Нобелевская премия по физике: Джон Кларк, Мишель Деворе и Джон Мартинис

Наука
Что повысит ответственность российского бизнеса Что повысит ответственность российского бизнеса

Как новые подходы к стандартизации в сфере развития улучшат инициативы компаний

РБК
В «Зеленой Долине» разместится 40 тыс. голов КРС В «Зеленой Долине» разместится 40 тыс. голов КРС

Агрохолдинг «Зеленая Долина» возведет крупнейший в Европе молочный комплекс

Агроинвестор
Конкурентное преимущество Конкурентное преимущество

Почему рынок труда больше не делится на «гуманитариев» и «технарей»

РБК
«Мозг – самый важный орган» «Мозг – самый важный орган»

Что такое память? Где она «хранится»? Почему мы помним не всё?

Знание – сила
В погоне за невидимкой В погоне за невидимкой

Из чего состоит темная материя и как поймать то, что нельзя увидеть?

Наука
Есенин: божественный бросок вперед Есенин: божественный бросок вперед

Почему творчество Есенина до сих пор вызывает отклик у читателей?

Знание – сила
Самые быстрые Самые быстрые

Когда речь заходит о скорости, победитель может быть только один

ТехИнсайдер
Скифы: наследие, не расшифрованное до конца Скифы: наследие, не расшифрованное до конца

Скифы – народ, о которых мы знаем многое, но почти ничего не понимаем

Знание – сила
Открыть в приложении