SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первоначально Юпитер был в 2 раза больше, чем сегодня Первоначально Юпитер был в 2 раза больше, чем сегодня

Магнитное поле юного Юпитера было в 50 раз больше, чем сейчас

ТехИнсайдер
Рыбалка изменила поведение сендеронгов в период спаривания Рыбалка изменила поведение сендеронгов в период спаривания

Ученые наблюдали за поведением самцов сендеронгов в период спаривания

N+1
Кофе и нейросети: какую роль играет ИИ в привлечении зумеров при кадровом дефиците Кофе и нейросети: какую роль играет ИИ в привлечении зумеров при кадровом дефиците

Как в борьбе за таланты генеративный ИИ становится ключевым инструментом

Forbes
Топ самых опасных для здоровья поз за рулем Топ самых опасных для здоровья поз за рулем

Самые опасные положения водителя в длительном путешествии на автомобиле

Maxim
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Биоритмы: что это такое, на что влияют, как наладить Биоритмы: что это такое, на что влияют, как наладить

Учимся быть чуткими к биологическим часам и разбираемся, как наладить режим

РБК
Фонотека Фонотека

Как изобразительное искусство и арт-колледжи повлияли на развитие поп-музыки

Правила жизни
«Никто не идеален»: 5 шагов, чтобы избавиться от недостатков «Никто не идеален»: 5 шагов, чтобы избавиться от недостатков

Признание своих недостатков — первый шаг к изменениям

Psychologies
Последние роли Орловой, Гурченко, Мордюковой и других великих советских актрис Последние роли Орловой, Гурченко, Мордюковой и других великих советских актрис

Мы решили вспомнить фильмы, которые стали для артисток последними

VOICE
«Поводом к травле могло стать любое слово, жест, взгляд» «Поводом к травле могло стать любое слово, жест, взгляд»

История Катерины, которая много лет страдала от пробелов в памяти после травли

Psychologies
Японцы в России? Что? Да! Чем хорош новый Subaru Outback Японцы в России? Что? Да! Чем хорош новый Subaru Outback

Обновленный модельный ряд Subaru Outback по-прежнему доступен в России

Maxim
Сезонные работы Сезонные работы

Каким должен быть уход за кожей после лета?

Лиза
Женский взгляд: 10 красных флагов в дейтинг-приложениях Женский взгляд: 10 красных флагов в дейтинг-приложениях

Десять стоп-сигналов, которые говорят женщинам: «Не стоит ему отвечать»

Psychologies
Люди перестали пить? Вот что такое «трезвые бары»: интересный факт! Люди перестали пить? Вот что такое «трезвые бары»: интересный факт!

Почему «трезвые бары» становятся всё популярнее? О чем говорит эта тенденция?

ТехИнсайдер
Вопрос века Вопрос века

Как правильно ухаживать за кожей вокруг глаз, чтобы не было «вековых» проблем?

Лиза
Исабель Альенде «Дочь фортуны». Фрагмент из приквела романа «Дочь духов» Исабель Альенде «Дочь фортуны». Фрагмент из приквела романа «Дочь духов»

Объемная, насыщенная приключенческая история от Исабель Альенде, «Дочь фортуны»

СНОБ
Скажи мне, кто твой друг Скажи мне, кто твой друг

Национальные парки, экофермы, питомники с редкими животными: топ-12 таких мест

2Xplore
От помощника в обучении до будущей профессии От помощника в обучении до будущей профессии

Как меняются школы и вузы под влиянием искусственного интеллекта

РБК
Шефы XXI века Шефы XXI века

На кухнях ресторанов все чаще можно встретить молодых шеф-поваров

Bones
«Один шаг, и ты стал частью какой-то мутной схемы»: рассказ читателя о знакомстве с даркнетом «Один шаг, и ты стал частью какой-то мутной схемы»: рассказ читателя о знакомстве с даркнетом

DarkNet: как люди в него попадают и почему застревают там?

Psychologies
Радиоэлектронная борьба в армиях стран НАТО Радиоэлектронная борьба в армиях стран НАТО

Программы развития радиоэлектронной борьбы в России и США

Обозрение армии и флота
5 признаков, что ваш брак под угрозой 5 признаков, что ваш брак под угрозой

Как понять, какие перспективы у вашего союза?

Psychologies
Астрономы впервые увидели разрыв очень массивной звезды сверхмассивной черной дырой Астрономы впервые увидели разрыв очень массивной звезды сверхмассивной черной дырой

Уникальное событие разрушения звезды сверхмассивной черной дырой

N+1
Фартук, косы, кружева Фартук, косы, кружева

Какой была школьная форма в СССР

Лиза
Я вас слушаю! Я вас слушаю!

Что такое активное слушание и почему оно важно для успеха?

Лиза
Как твой образ влияет на успех: практические советы Как твой образ влияет на успех: практические советы

Как использовать свой образ для достижения целей и реализации амбиций?

VOICE
Почему нельзя выливать маринад от овощей Почему нельзя выливать маринад от овощей

Что бы ты ни делала, не выливай маринад от овощей в канализацию!

VOICE
Федор Гамалея Федор Гамалея

Актер Федор Гамалея — праправнук гениального ученого, сделавший себя сам

Собака.ru
Трезвые разговоры в баре: Екатерина Манойло и Михаил Турбин Трезвые разговоры в баре: Екатерина Манойло и Михаил Турбин

Что обсуждают писатели, когда встречаются в баре рано утром?

СНОБ
Про тех, кто вечно в шоке Про тех, кто вечно в шоке

Что такое аффектация простыми словами, рассказывает психолог Надежда Бримаер

Лиза
Открыть в приложении