SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее 3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее

Подборка историй людей, которые двигают прогресс

ТехИнсайдер
Инновационные решения ЦНИРТИ армии и флоту к 120-летию РЭБ Инновационные решения ЦНИРТИ армии и флоту к 120-летию РЭБ

Основные направления деятельности ЦНИРТИ сегодня

Обозрение армии и флота
Миниатюрный орнитоптер стал одноногим прыгуном Миниатюрный орнитоптер стал одноногим прыгуном

Как инженеры создали робота-прыгуна массой меньше грамма

N+1
Можно ли мыть фрукты и овощи в посудомоечной машине Можно ли мыть фрукты и овощи в посудомоечной машине

Стоит ли следовать лайфхакам из интернета и мыть фрукты в посудомоечной машине?

ТехИнсайдер
Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно

О словах, за которые вам не должно быть стыдно, пусть и звучат они забавно

ТехИнсайдер
Иногда «Оно» возвращается Иногда «Оно» возвращается

Возвращение хоррор-хита «Оно приходит за тобой», прославившего Майку Монро

Weekend
Жестокость, доказавшая потребность в любви: неэтичный эксперимент XX века о детской привязанности Жестокость, доказавшая потребность в любви: неэтичный эксперимент XX века о детской привязанности

Как Гарри Харлоу доказал значимость эмоциональной связи ребенка с родителями

ТехИнсайдер
Посмотрите на «устрицу-монстра»! Эксперты: это не самая большая устрица, но она поражает Посмотрите на «устрицу-монстра»! Эксперты: это не самая большая устрица, но она поражает

Устрицы могут достигать колоссальных размеров

ТехИнсайдер
Познать геймдев изнутри: лучшие книжные новинки о компьютерных играх и их создателях Познать геймдев изнутри: лучшие книжные новинки о компьютерных играх и их создателях

Книги о видеоиграх, которые помогут узнать, как создавались культовые вселенные

ТехИнсайдер
Криминальный гардероб: как спортивный костюм стал символом обездоленного класса Криминальный гардероб: как спортивный костюм стал символом обездоленного класса

Как одежда становится маркером преступности?

Forbes
«Как я разденусь?»: 8 неочевидных причин, которые мешают достичь оргазма «Как я разденусь?»: 8 неочевидных причин, которые мешают достичь оргазма

Что мешает вам получать удовольствие от близости с любимым человеком?

Psychologies
«Я больше не боюсь»: как Симона Байлз боролась, побеждала и снимала президентов «Я больше не боюсь»: как Симона Байлз боролась, побеждала и снимала президентов

История спортсменки, которая прошла через нищету, насилие и проблемы с психикой

Forbes
Из всего, что есть в доме Из всего, что есть в доме

Подборка самых необычных арт-объектов России, которые были созданы умельцами

2Xplore
Парадокс Спящей красавицы Парадокс Спящей красавицы

Возможно ли впасть в оцепенение на столетие и потом вернуться к жизни?

Вокруг света
Не морем единым Не морем единым

Мы предлагаем разнообразить досуг интересными экскурсиями в Краснодарском крае

Лиза
Строго по записи Строго по записи

Контролировать свой рацион полезно всем без исключения

Лиза
Сергей Безруков: «Как выдерживаю? Привычка, самодисциплина и терпение» Сергей Безруков: «Как выдерживаю? Привычка, самодисциплина и терпение»

Любознательность — то, что в себе нужно культивировать, развивать

Караван историй
Нелли Гаранян: «Он говорил: «Я не могу дирижировать голодными музыкантами» Нелли Гаранян: «Он говорил: «Я не могу дирижировать голодными музыкантами»

«Цветов у тебя не будет никогда, но колбасы и всего остального — сколько угодно»

Коллекция. Караван историй
Жаркая погода может убить вас: как этого избежать Жаркая погода может убить вас: как этого избежать

Перегрев может вызвать серьезные проблемы со здоровьем: как его избежать?

ТехИнсайдер
Японцы в России? Что? Да! Чем хорош новый Subaru Outback Японцы в России? Что? Да! Чем хорош новый Subaru Outback

Обновленный модельный ряд Subaru Outback по-прежнему доступен в России

Maxim
Как использовать анальные шарики, чтобы испытать новый для себя вид оргазма Как использовать анальные шарики, чтобы испытать новый для себя вид оргазма

Анальные шарики для новичков: как выбрать и как использовать?

VOICE
Рабочий, колхозница и граненый стакан Рабочий, колхозница и граненый стакан

Вера Мухина создала главный советский памятник и культовую советскую посуду

Правила жизни
Древнего дюгоня покусали акулы и крокодил Древнего дюгоня покусали акулы и крокодил

Палеонтологи описали остатки вымершего дюгоня из рода Culebratherium

N+1
Кто вы в треугольнике Карпмана? Кто вы в треугольнике Карпмана?

Тест: какая роль в треугольнике Карпмана свойственна вам?

Psychologies
Теперь положено! Теперь положено!

Отпускные, больничные и другие новшества для самозанятых

Лиза
Снижение самооценки и панические атаки: чем опасно позитивное мышление Снижение самооценки и панические атаки: чем опасно позитивное мышление

Стоит ли придерживаться позитивного мышления? Отвечает гештальт-терапевт

Psychologies
Рина Зеленая. Каждый день была счастлива с мужем Рина Зеленая. Каждый день была счастлива с мужем

Рина всегда ценила интеллектуалов с неординарным мышлением

Караван историй
Укрепление Сибири или совпадение: как объяснить масштабные кадровые перестановки Укрепление Сибири или совпадение: как объяснить масштабные кадровые перестановки

За неполные два года в трети сибирских регионов сменились руководители

ФедералПресс
Стоит ли делать МРТ-сканирование всего тела Стоит ли делать МРТ-сканирование всего тела

Как же работают эти МРТ-сканы всего тела и действительно ли они «спасают жизни»?

ТехИнсайдер
Как выбрать аккумуляторную цепную пилу для дачи: практичные советы Как выбрать аккумуляторную цепную пилу для дачи: практичные советы

Что учитывать, выбирая цепную пилу?

CHIP
Открыть в приложении