SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Странный, но очень важный аспект: почему спринтеры начинают свой забег с низкого старта Странный, но очень важный аспект: почему спринтеры начинают свой забег с низкого старта

Каково преимущество низкого старта и почему его не используют марафонцы

ТехИнсайдер
Как убрать живот мужчине в домашних условиях: 5 упражнений от тренера Как убрать живот мужчине в домашних условиях: 5 упражнений от тренера

Почему растет живот у мужчин и как от него быстро избавиться?

РБК
От полезных советов до создания ИИ-жен: как люди используют чат-ботов От полезных советов до создания ИИ-жен: как люди используют чат-ботов

Как люди пользуются персонифицированными чат-ботами?

Inc.
Как две ученые нашли месторождение алмазов, но их открытие присвоили себе другие люди Как две ученые нашли месторождение алмазов, но их открытие присвоили себе другие люди

Пример того, как тяжелый труд ученых был вознагражден подлостью

Forbes
7 самых распространенных способов обмана на шиномонтаже 7 самых распространенных способов обмана на шиномонтаже

Как не попасться на крючок мошенников в шиномонтаже

Maxim
Ощущение вкуса Ощущение вкуса

На что мы смотрим, когда выбираем блюдо или напиток?

Bones
Жизнь без слез! Что делать, если постоянно хочется плакать: 10 советов психолога Жизнь без слез! Что делать, если постоянно хочется плакать: 10 советов психолога

Разбираемся в ситуации постоянных слез без причины вместе с психологом

Лиза
Из гречки и кокоса! Узнайте о самых полезных для здоровья видах муки Из гречки и кокоса! Узнайте о самых полезных для здоровья видах муки

Стоит ли заменить цельнозерновую муку на гречневую или миндальную?

ТехИнсайдер
5 способов укрепить свой внутренний стержень 5 способов укрепить свой внутренний стержень

Как развивать внутреннюю опору, которая поможет справляться с трудностями

Psychologies
Как использовать анальные шарики, чтобы испытать новый для себя вид оргазма Как использовать анальные шарики, чтобы испытать новый для себя вид оргазма

Анальные шарики для новичков: как выбрать и как использовать?

VOICE
5 точек красоты: как делать массаж лица шиацу правильно 5 точек красоты: как делать массаж лица шиацу правильно

Точечная техника шиацу поможет за несколько минут в день стереть следы усталости

Psychologies
Парадокс Монти Холла: что это значит и как его применять Парадокс Монти Холла: что это значит и как его применять

Как математический парадокс применяют в жизни?

Psychologies
Играть по правилам и без Играть по правилам и без

Где та грань в хитрости, которую не стоит переступать?

Psychologies
6 главных отличий нарцисса от обычного обиженного эгоиста 6 главных отличий нарцисса от обычного обиженного эгоиста

Не каждый токсичный человек — нарцисс. Как отличить его от эгоиста?

Psychologies
15 модных словечек и фраз, которые стоит позаимствовать из словаря зумеров 15 модных словечек и фраз, которые стоит позаимствовать из словаря зумеров

Разбираем зумерский сленг, чтобы найти с ними общий язык

Psychologies
Дофамин и его предшественник леводопа усилили деградацию бета-амилоида в префронтальной коре мышей Дофамин и его предшественник леводопа усилили деградацию бета-амилоида в префронтальной коре мышей

Дофамин и леводопа индуцируют деградацию бета-амилоида в мозге мышей

N+1
Сверху вниз Сверху вниз

Чтобы добраться до лучших точек с панорамными видами, порой приходится попотеть

2Xplore
А ты возьми и купи слона А ты возьми и купи слона

Как узнать все секреты продавцов, чтобы покупать осознанно?

Psychologies
Наличники (или шоу «Окна») Наличники (или шоу «Окна»)

Почему резные наличники получили распространение именно в России?

КАНТРИ Русская азбука
Труба пучка Большого адронного коллайдера помогла установить новый предел на магнитные монополи Труба пучка Большого адронного коллайдера помогла установить новый предел на магнитные монополи

Как физики установили новый предел на массу и заряд магнитных монополей

N+1
Руководитель Форума креативного бизнеса Елена Маринина: Резко вырос спрос на специалистов в креативной сфере Руководитель Форума креативного бизнеса Елена Маринина: Резко вырос спрос на специалистов в креативной сфере

Почему игрокам креативных индустрий важно объединяться, а не конкурировать

СНОБ
Древесину липы случайно превратили в суперчерный материал Древесину липы случайно превратили в суперчерный материал

Материаловеды случайно превратили древесину липы в суперчерный материал

N+1
Катастрофа на озере Ниос: как токсичная вода за ночь унесла жизни 1746 африканцев Катастрофа на озере Ниос: как токсичная вода за ночь унесла жизни 1746 африканцев

Трагедия на озере Ниос: что произошло с обычным водоемом в тот жуткий день?

ТехИнсайдер
«Звездная болезнь»: плюсы, минусы, последствия для «больного» и окружающих «Звездная болезнь»: плюсы, минусы, последствия для «больного» и окружающих

Как распознать в себе и близких симптомы «звездной болезни» и спастись от них?

Psychologies
От модели до CEO: как Брук Шилдс основала собственный бьюти-бренд для зрелых женщин От модели до CEO: как Брук Шилдс основала собственный бьюти-бренд для зрелых женщин

Брук Шилдс о том, как она решилась начать новую карьеру — в бизнесе

Forbes
Собрание автомобильных редкостей Собрание автомобильных редкостей

Об уникальных автомобилях, вошедших в историю

Зеркало Мира
Почему нельзя выливать маринад от овощей Почему нельзя выливать маринад от овощей

Что бы ты ни делала, не выливай маринад от овощей в канализацию!

VOICE
Писатель для бедных. 130 лет со дня рождения Михаила Зощенко Писатель для бедных. 130 лет со дня рождения Михаила Зощенко

О творческом пути Михаила Зощенко, его популярности и травле

СНОБ
Тяжба дяди Дреда Тяжба дяди Дреда

История афроамериканца Дреда Скотта, который пытался оспорить свои права в суде

Дилетант
Роман Чекушов: «Мы открыли для себя новые рынки» Роман Чекушов: «Мы открыли для себя новые рынки»

О работе в условиях санкций и выстраивании новых логистических цепочек

ФедералПресс
Открыть в приложении