Слово как интерфейс
Как общение с моделями тренирует человеческую ясность мысли
Языковые модели первыми среди всех технологий заговорили с нами на обычном языке – без кнопок и команд. Если умеешь четко формулировать задачу словами, то можешь все. У меня двое совсем маленьких детей, и многие их слова и фразы мне непонятны. А вот большие языковые модели с ними проблем не испытывают: малыши вовсю болтают с голосовыми помощниками. Машины – верные друзья моих детей. Но чем дальше, тем больше возникает вопросов. Самый главный – о памяти. В поисках ответов на эти вопросы я и обратился к Антону Фролову, руководителю блока «Развитие генеративного ИИ» Сбера. Мы обсудили, почему у моделей до сих пор нет долгой памяти, чем агент отличается от языковой модели, кто отвечает за его ошибки, есть ли у ИИ совесть и какие профессии переживут эпоху мультиагентных систем.
Антон Фролов
Старший вице-президент, руководитель блока «Развитие генеративного ИИ» в Сбере. Курирует развитие фундаментальных моделей генеративного ИИ, платформ машинного обучения и ИИ-помощника ГигаЧат
Недолгая память
Первым делом мы упираемся в эту тему. Я мечтал об искусственном интеллекте уровня моей жены: она помнит всю мою жизнь, каждый эпизод, с ней всегда можно поговорить и посоветоваться. Но модели словно страдают склерозом.
Антон соглашается: «Память – это, наверное, одна из самых фундаментальных нерешенных проблем в современном ИИ. То, что мы привыкли называть памятью у людей, у моделей – контекстное окно». Сейчас такое окно имеет размер около миллиона токенов (токен не слово, а кусочек слога). Миллиона хватает на несколько диалогов, но не на всю жизнь.