SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Агата Кристи, вооруженные каскадеры и мощные моторы: как работала сирийская «дорога Нэрнов» Агата Кристи, вооруженные каскадеры и мощные моторы: как работала сирийская «дорога Нэрнов»

История создания автобусного маршрута от Бейрута до Багдада братьями Нэрнами

ТехИнсайдер
7 суровых автодомов, сделанных российскими умельцами 7 суровых автодомов, сделанных российскими умельцами

Российские автодома с суровым вайбом

Maxim
Геймификация, «какашки» и честность: как бренду привлечь зумеров Геймификация, «какашки» и честность: как бренду привлечь зумеров

Что поможет бренду зацепить поколение Z

Inc.
Губернатор Забайкалья — о перспективах края в сотрудничестве с Китаем Губернатор Забайкалья — о перспективах края в сотрудничестве с Китаем

За последние пять лет ВРП Забайкалья, по данным Росстата, увеличился в 1,7 раза

РБК
Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья? Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья?

Оказывают ли какой-то эффект палки в скандинавской ходьбе?

ТехИнсайдер
Дождевые черви не смогут прокормить человечество в случае ядерной войны Дождевые черви не смогут прокормить человечество в случае ядерной войны

Сбор дождевых червей для пропитания оказался слишком трудоемким

N+1
Что читают в книжном клубе Сары Джессики Паркер Что читают в книжном клубе Сары Джессики Паркер

Топ-7 книг из списка актрисы Сары Джессики Паркер

СНОБ
Гендиректор РЭО: «Необходимо создать современную инфраструктуру по утилизации отходов» Гендиректор РЭО: «Необходимо создать современную инфраструктуру по утилизации отходов»

В России с нуля создается отрасль обращения с твердыми коммунальными отходами

ФедералПресс
Екатерина Гусева: «Чем больше отдаю душевных сил, тем больше получаю солнечной энергии!» Екатерина Гусева: «Чем больше отдаю душевных сил, тем больше получаю солнечной энергии!»

Я чувствую, что наполнена зрительской благодарностью и любовью

Караван историй
Убтан для вашей крaсoты Убтан для вашей крaсoты

Секрет красоты и молодости нам раскрывает природа, и один из них — убтан

КАНТРИ Русская азбука
Уильям Гершель и музыка небесных сфер Уильям Гершель и музыка небесных сфер

Уильям Гершель, великий астроном, раздвинувший для нас границы Солнечной системы

Наука и техника
Эксперт рассказал, как меньше пьянеть! Факты о толерантности к алкоголю Эксперт рассказал, как меньше пьянеть! Факты о толерантности к алкоголю

Почему одни люди могут выпить больше других?

ТехИнсайдер
АИРР представила новый индекс востребованности кадров в российских регионах АИРР представила новый индекс востребованности кадров в российских регионах

Новый квартальный индекс востребованности кадров для инновационной экономики

ФедералПресс
Мороз, жара и низкая рентабельность: почему Россия потеряла часть урожая картофеля Мороз, жара и низкая рентабельность: почему Россия потеряла часть урожая картофеля

В 2024 году в России соберут на 1,4 млн т, или на 16% меньше картофеля

Forbes
Неуловимые коты Сайлюгема Неуловимые коты Сайлюгема

Как живется снежным барсам и другим животным в алтайских горах

Наука и жизнь
Как Николо Макиавелли рассуждал о природе власти Как Николо Макиавелли рассуждал о природе власти

Отрывок из книги «Никколо Макиавелли. Стяжать власть, не стяжать славу»

СНОБ
Михаил Михайлов: «Хочется больше честности» Михаил Михайлов: «Хочется больше честности»

Михаил Михайлов о роли шефа в подготовке к открытию ресторана

Bones
Нужно ли рассказывать всю правду о себе партнеру: 3 истории Нужно ли рассказывать всю правду о себе партнеру: 3 истории

Три истории, которые доказывают: иногда не стоит раскрывать всю правду партнеру

Psychologies
Солнечный коллектор vs солнечная панель: как определить, что выгоднее для дома Солнечный коллектор vs солнечная панель: как определить, что выгоднее для дома

Что из них выгоднее и чем отличаются: солнечный коллектор или солнечная панель?

ТехИнсайдер
Гжель: сине-бело-голубые Гжель: сине-бело-голубые

Особенности производства гжельской посуды

КАНТРИ Русская азбука
Весь в отца: существуют ли гены лишнего веса и что с ними делать? Весь в отца: существуют ли гены лишнего веса и что с ними делать?

Спросили у эксперта все, что вы хотели знать о генах лишнего веса

Правила жизни
Чем запить лекарство? Чем запить лекарство?

Какие последствия могут быть от неправильного сочетания лекарств с едой

Лиза
«Хороших девочек не убивают»: легкий детектив о юной сыщице с Эммой Майерс «Хороших девочек не убивают»: легкий детектив о юной сыщице с Эммой Майерс

Сериал «Хороших девочек не убивают» — симпатичный проект для зумеров

Forbes
«Ваш диагноз — сибирская язва»: свердловская эпидемия 1979 года, которая до сих пор остается засекреченной «Ваш диагноз — сибирская язва»: свердловская эпидемия 1979 года, которая до сих пор остается засекреченной

Ровно 45 лет назад в Свердловске произошла эпидемия смертельной сибирской язвы

ТехИнсайдер
Танцуй, танцуй! Танцуй, танцуй!

Танцы — это не только красиво, но еще и полезно для здоровья

ЖАРА Magazine
Марат Калайджян: «Людям нужна простота» Марат Калайджян: «Людям нужна простота»

Марат Калайджян — вкус во плоти, учит всех нас правильному отношению к продуктам

Bones
10 цитат Энди Уорхола, которые научат вас мыслить как художник 10 цитат Энди Уорхола, которые научат вас мыслить как художник

Энди Уорхол — о жизни, творчестве и любви

Psychologies
Как не выгореть на работе: 3 полезных правила Как не выгореть на работе: 3 полезных правила

Как перестать работать на износ?

Psychologies
Вымирающие из-за нехватки кислорода тасманийские скаты впервые размножились в неволе Вымирающие из-за нехватки кислорода тасманийские скаты впервые размножились в неволе

Находящиеся под угрозой исчезновения скаты впервые принесли потомство в неволе

N+1
Овощ в мундире Овощ в мундире

Молодой картофель – какой лучше выбрать и как приготовить?

Лиза
Открыть в приложении