SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ирригатор или зубная нить: что лучше для гигиены зубов? Ирригатор или зубная нить: что лучше для гигиены зубов?

Зубная нить и ирригатор: нужно ли усложнять свою рутину ухода за зубами?

ТехИнсайдер
Благородный винтаж и вещи «первой руки»: почему все охотятся за антикварной мебелью Благородный винтаж и вещи «первой руки»: почему все охотятся за антикварной мебелью

Галеристы фиксируют: на рынке антикварной мебели уже третий год идет оживление

Forbes
ИИ на страже безопасности: смогут ли нейросети бороться с хакерами ИИ на страже безопасности: смогут ли нейросети бороться с хакерами

Кто победит в этой схватке алгоритмов — защитники или взломщики?

ТехИнсайдер
4 признака, что отправляться в совместное путешествие с человеком не стоит 4 признака, что отправляться в совместное путешествие с человеком не стоит

Иногда стили отдыха даже самых близких людей не совпадают, и это нормально

Psychologies
Стресс на работе: как распознать и что делать Стресс на работе: как распознать и что делать

Основные факторы возникновения стресса на работе и его влияние на организм

Inc.
Телескоп горизонта событий достиг рекордно большой точности наблюдений Телескоп горизонта событий достиг рекордно большой точности наблюдений

Как провели наземные наблюдения за квазарами с большим угловым разрешением

N+1
Убтан для вашей крaсoты Убтан для вашей крaсoты

Секрет красоты и молодости нам раскрывает природа, и один из них — убтан

КАНТРИ Русская азбука
Нейроинтерфейс позволил пациенту с БАС общаться с точностью почти 98 процентов Нейроинтерфейс позволил пациенту с БАС общаться с точностью почти 98 процентов

Точность декодирования у нейроинтерфейса составляет 97,5 процента

N+1
На средневековых предметах и росписях из Китая нашли желтые краски из растений На средневековых предметах и росписях из Китая нашли желтые краски из растений

В средневековом Китае использовали краски из гарцинии и китайского бархата

N+1
Имел несчастие быть немцем… Имел несчастие быть немцем…

Кто такой был Эрнст Иоганн Бирон и как он был связан с Анной Иоанновной?

Дилетант
8 способов увеличить автономность смартфона на Android 8 способов увеличить автономность смартфона на Android

Cпособы увеличения времени автономной работы смартфона Android

CHIP
Почему нельзя выливать маринад от овощей Почему нельзя выливать маринад от овощей

Что бы ты ни делала, не выливай маринад от овощей в канализацию!

VOICE
История развития морских беспилотников. Часть 1 История развития морских беспилотников. Часть 1

Родоначальником морских дронов можно считать кораблик Николы Теслы

Наука и техника
Вместо тревожных новостей — балет: почему в СССР в трудные времена показывали «Лебединое озеро» Вместо тревожных новостей — балет: почему в СССР в трудные времена показывали «Лебединое озеро»

Почему «Лебединое озеро» стало предвестником серьезных политических событий?

ТехИнсайдер
Зайдя в эту комнату, через 15 минут вы сойдете с ума. Рассказываем про самую тихую комнату в мире Зайдя в эту комнату, через 15 минут вы сойдете с ума. Рассказываем про самую тихую комнату в мире

В чем секрет самого тихого помещения в мире?

ТехИнсайдер
«Швабе» о человеческом капитале: «От нашей работы с людьми зависит успех компании» «Швабе» о человеческом капитале: «От нашей работы с людьми зависит успех компании»

О том, как с непростой ситуацией кадрового голода справляется холдинг «Швабе»

ФедералПресс
Я вас слушаю! Я вас слушаю!

Что такое активное слушание и почему оно важно для успеха?

Лиза
6 остросюжетных новинок для тех, кто любит пощекотать нервы: триллеры, детективы и тру-крайм 6 остросюжетных новинок для тех, кто любит пощекотать нервы: триллеры, детективы и тру-крайм

Что может быть лучше детектива, сюжет которого захватывает с первых страниц?

Maxim
Удаляют себе ногти на ногах! Вот на какие жертвы идут бегуны Канады ради победы Удаляют себе ногти на ногах! Вот на какие жертвы идут бегуны Канады ради победы

Профессиональные спортсмены подвергают свои тела экстремальным практикам

ТехИнсайдер
Единственно правильная закуска к виски Единственно правильная закуска к виски

Кто сказал, что виски не закусывают?

Maxim
Мир до Александра. Путешествие начинается… Мир до Александра. Путешествие начинается…

География древнего мира: что греки знали о землях, странах и народах?

Знание – сила
Вот почему это самая умная собака в мире! Интересные факты о дрессировке Вот почему это самая умная собака в мире! Интересные факты о дрессировке

Бордер-колли по кличке Чейзер стала известной как «самая умная собака в мире»

ТехИнсайдер
Как проверить видеокарту на работоспособность: несколько надежных способов Как проверить видеокарту на работоспособность: несколько надежных способов

Какой программой проверить работоспособность видеокарты?

CHIP
Иди и дружи! Иди и дружи!

Как быть, если в книжках дружба есть, а в жизни ребенка – совсем наоборот?

Лиза
100 грамм катастрофы: как Винеш Пхогат стала героиней Индии, но все равно проиграла 100 грамм катастрофы: как Винеш Пхогат стала героиней Индии, но все равно проиграла

Винеш Пхогат — первая индийская женщина-борец

Forbes
Жизнь без слез! Что делать, если постоянно хочется плакать: 10 советов психолога Жизнь без слез! Что делать, если постоянно хочется плакать: 10 советов психолога

Разбираемся в ситуации постоянных слез без причины вместе с психологом

Лиза
Топ-5 лучших фанатских версий сериальных концовок аниме Топ-5 лучших фанатских версий сериальных концовок аниме

Поклонники аниме считают, что они смогли бы лучше закончить некоторые истории

Maxim
Есть ли способы меньше потеть? Есть ли способы меньше потеть?

Как уменьшить избыточное потоотделение и начать жить?

Maxim
Двигатель Renault К4М: описание и характеристики Двигатель Renault К4М: описание и характеристики

Все о двигателе K4M: надежность, особенности, характеристики

РБК
Прыжок в историю: батут может принести россиянке олимпийскую медаль Прыжок в историю: батут может принести россиянке олимпийскую медаль

Анжела Бладцева: о возможной героине Игр и шансах на победу

Forbes
Открыть в приложении