Создание ИИ следующих поколений столкнулось с неожиданным препятствием

ТехИнсайдерHi-Tech

Ненасытный интеллект

Создание искусственных интеллектов следующих поколений, еще более масштабных, сложных и точных, столкнулось с неожиданным препятствием: их работа требует так много электричества, что существующие мощности могут просто не справиться с генерацией.

Текст: Федор Соннов

Узкое горлышко

Чем крупнее, тем «умнее» становятся нейросети. При обучении они перерабатывают огромные массивы данных, настраивая миллиарды, а то и триллионы своих внутренних переменных. Чем больше у модели таких параметров, тем проще ей находить закономерности и связи. Вышедшая в 2018 году GPT-1 использовала 117 млн переменных, GPT-2 – около 1,5 млрд, а в GPT-4, по некоторым данным, их более 1,7 трлн. Однако по мере увеличения размеров нейросети оказываются все более «прожорливыми»: если обучение GPT-2 обошлось компании OpenAI всего в 50 тыс. долл., то на GPT-4 пришлось потратить уже более 100 млн.

Деньги нужны на инфраструктуру и работу дата-центров, питание и охлаждение десятков и сотен тысяч графических процессоров. Энергетические затраты, как и финансовые, растут экспоненциально. Эксперты подсчитали, что для подготовки GPT-4 было затрачено 51–62 ГВт·ч – такого количества электроэнергии мегаполису Сан-Франциско хватило бы на несколько дней.

По данным Международного энергетического агентства (МЭА), на вычисление и хранение данных сегодня уходит до 1,5% всей мировой электроэнергии. В США эта цифра уже достигла 4,4%; ожидается, что к 2028 году она вырастет до 12%. Однако новые огромные дата-центры для будущих нейросетей грозят сделать ситуацию куда более напряженной. В Вайоминге запланировано строительство дата-центра, который будет поглощать до 87,6 ТВт·ч в год – в пять раз больше, чем все жители штата, вместе взятые, и вдвое больше текущих возможностей генерации. «Ненасытный спрос ИИ на электроэнергию опережает десятилетние циклы развития энергосистемы, создавая критическое "узкое горлышко"», – отмечается в недавнем докладе агентства Goldman Sachs.

O'qishni davom ettirish uchun tizimga kiring. Bu tez va bepul.

Roʻyxatdan oʻtish orqali men foydalanish shartlari 

Tavsiya etilgan maqolalar

IDеальное преступление IDеальное преступление

Четыре года назад «Популярная механика» опубликовала свой первый кибердетектив

ТехИнсайдер
Устаревшие технологии Устаревшие технологии

Вахта на Европе длится долго. Всё приедается

Наука и жизнь
Император железных дорог Император железных дорог

Двенадцать лет назад за этой железнодорожной историей следил весь мир

ТехИнсайдер
Путь героя Путь героя

По земле богов и героев, по следам Тесея

Вокруг света
Как искусственный интеллект переписывает правила медиарынка Как искусственный интеллект переписывает правила медиарынка

О том, где проходит граница между помощником человека и его заменой

ТехИнсайдер
Когда окаменелости были богами Когда окаменелости были богами

В ископаемых и окаменелостях нашлось место великанам, богам, духам и драконам

Вокруг света
Биосигнатуры и их разоблачение: жизненно важные улики Биосигнатуры и их разоблачение: жизненно важные улики

Судить о возможном существовании иной жизни приходится по косвенным признакам

ТехИнсайдер
Убийство в Гилее Убийство в Гилее

Как братоубийство Савлия изменило судьбу Скифии

Знание – сила
Шаг за шагом до Европы Шаг за шагом до Европы

Как на спутнике Юпитера Европе будут искать внеземные организмы

ТехИнсайдер
90000 текстов: мифы планеты 90000 текстов: мифы планеты

Какие истории люди рассказывали за тысячи лет до изобретения письменности?

Вокруг света
Подарок из Мессины Подарок из Мессины

В эрмитажной коллекции хранится много документальных экспонатов прошлых веков

Дилетант
Лия Королева: « Машины возьмут на себя рутину, а смыслы останутся за людьми» Лия Королева: « Машины возьмут на себя рутину, а смыслы останутся за людьми»

Что происходит на рынке труда сегодня и как выстроить HR-бренд с нуля?

РБК
Дежавю — дар предсказания или когнитивная иллюзия? Дежавю — дар предсказания или когнитивная иллюзия?

Иногда нам кажется: мы знали, что сейчас произойдет

Psychologies
Оказался он живой Оказался он живой

Так ли много общего у умирающих божеств разных народов?

Вокруг света
Новости науки Новости науки

Самый яркий квазар, рекордный гамма-квант и другие новости науки

Знание – сила
Биосфера и пластик Биосфера и пластик

Когда-нибудь ученые, наверное, будут выделять пластиковый век

Наука и техника
Скифы: наследие, не расшифрованное до конца Скифы: наследие, не расшифрованное до конца

Скифы – народ, о которых мы знаем многое, но почти ничего не понимаем

Знание – сила
Ставка давит на инвестиции Ставка давит на инвестиции

Какие макроэкономические факторы сдерживают рост агросектора

Агроинвестор
Учимся понимать наши растения Учимся понимать наши растения

Кажется, чего уж проще: полить цветы. Но и здесь есть ряд тонкостей...

Наука и жизнь
Переход на отечественный софт: комфорт превыше всего Переход на отечественный софт: комфорт превыше всего

Как осуществлялось импортозамещение в сфере кадастра и геодезии

Наука и техника
Ежевичный холм и его обитатели Ежевичный холм и его обитатели

Выход жизни на сушу – вопрос, интересующий не только специалистов

Наука и техника
Мир Пандоры Мир Пандоры

К выходу нового «Аватар: Огонь и пепел» возвращаемся на планету Пандора

Вокруг света
Дмитрий Калаев: «Стартап-проект не очарует инвестора лишь наличием ИИ» Дмитрий Калаев: «Стартап-проект не очарует инвестора лишь наличием ИИ»

Что происходит с венчурными инвестициями в России

РБК
Галльская война Галльская война

Юлий Цезарь: завоевание Галлии

Знание – сила
Редомициляция, или Переезд как по нотам Редомициляция, или Переезд как по нотам

Рост акций выше 50% и другие перемены в жизни компаний, сменивших юрисдикцию

РБК
Всем пригож песец Всем пригож песец

Песец – полярный кочевник с удивительной выносливостью

Знание – сила
Рабочая схема Рабочая схема

Почему все больше молодых людей выбирают среднее профессиональное образование

РБК
Будьте здоровы Будьте здоровы

Наночастицы для борьбы с раком и уникальная операция в Казани

Знание – сила
Окаменелости — у порога Окаменелости — у порога

Мы привыкли думать, что научные чудеса происходят где-то далеко...

Наука и жизнь
Золотая жила для агроинвестора Золотая жила для агроинвестора

Сколько стоит зайти на рынок готовой еды

Агроинвестор
Открыть в приложении