SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ваши внутренние часы устанавливают время приема пищи, которое снижает риск ожирения и диабета Ваши внутренние часы устанавливают время приема пищи, которое снижает риск ожирения и диабета

Зачем синхронизировать количество потребляемых калорий с циркадным ритмом?

ТехИнсайдер
Город вокруг урочища Город вокруг урочища

Петрозаводск: успешная трансформация государственного индустриального города

Weekend
В Финляндии стали использовать избыточное тепло дата-центров для отопления В Финляндии стали использовать избыточное тепло дата-центров для отопления

Дата-центр снабжает финский город теплом уже около десяти лет

Inc.
Адель Вейгель: «Не считаю, что только профессионалы должны заниматься музыкой» Адель Вейгель: «Не считаю, что только профессионалы должны заниматься музыкой»

Адель Вейгель — о том, как ей удалось залететь в топ с первой песни

ЖАРА Magazine
Вся правда о холестерине Вся правда о холестерине

Что на самом деле вызывает заболевания сердца и сосудов

kiozk originals
Как договариваться всегда со всеми и обо всем: интервью с конфликтологом Как договариваться всегда со всеми и обо всем: интервью с конфликтологом

Как наладить семейные отношения и стать профессионалом в сфере конфликтологии?

РБК
«Я больше не боюсь»: как Симона Байлз боролась, побеждала и снимала президентов «Я больше не боюсь»: как Симона Байлз боролась, побеждала и снимала президентов

История спортсменки, которая прошла через нищету, насилие и проблемы с психикой

Forbes
Король ток-шоу: кто такой Фил Донахью? Король ток-шоу: кто такой Фил Донахью?

Чем Фил Донахью заслужил уважение и доверие телезрителей?

Правила жизни
Опытным путем Опытным путем

20 советов, которые помогут изменить жизнь к лучшему

Men Today
Гжель: сине-бело-голубые Гжель: сине-бело-голубые

Особенности производства гжельской посуды

КАНТРИ Русская азбука
10 лучших новых сериалов, которые должен посмотреть каждый. Выбор читателей «Правил жизни» 10 лучших новых сериалов, которые должен посмотреть каждый. Выбор читателей «Правил жизни»

Подборка сериалов, в которой каждый найдет что-то для себя

Правила жизни
Нежеланные попутчики Нежеланные попутчики

Даже если все вас бросят, а мир повернется к вам спиной – они останутся с вами

Зеркало Мира
Неудачный «Большой скачок»: зачем Китай закупал воробьев у Канады и СССР Неудачный «Большой скачок»: зачем Китай закупал воробьев у Канады и СССР

«Большой скачок»: зачем Китай решил истребить воробьев?

ТехИнсайдер
Задержите дыхание! Ученые рассказали, почему запах после дождя опасен для жизни Задержите дыхание! Ученые рассказали, почему запах после дождя опасен для жизни

Знали ли вы, что вздох в дождливую погоду может оказаться последним?

ТехИнсайдер
Будущее из розетки: чего ждать от электромобилей Будущее из розетки: чего ждать от электромобилей

В каком направлении развивается электротранспорт?

ТехИнсайдер
Сезонные работы Сезонные работы

Каким должен быть уход за кожей после лета?

Лиза
Ивановичи Ивановичи

Обоим сыновьям Ивана Калиты совсем не повезло с местом в истории

Дилетант
«Ваш диагноз — сибирская язва»: свердловская эпидемия 1979 года, которая до сих пор остается засекреченной «Ваш диагноз — сибирская язва»: свердловская эпидемия 1979 года, которая до сих пор остается засекреченной

Ровно 45 лет назад в Свердловске произошла эпидемия смертельной сибирской язвы

ТехИнсайдер
Топ-5 лучших фанатских версий сериальных концовок аниме Топ-5 лучших фанатских версий сериальных концовок аниме

Поклонники аниме считают, что они смогли бы лучше закончить некоторые истории

Maxim
В кадре В кадре

Это интервью мы записывали с актрисой Анастасией Красовской в Нижнем Новгороде

OK!
По следам мореплавателя По следам мореплавателя

Остров Беринга не оставляет привычных критериев для оценки действительности

2Xplore
Диво дивное Диво дивное

Воронежская область — поля подсолнухов, меловые столбы и водная гладь Дона

Лиза
Что вытворяют тарантулы во время стресса и какой вид смертельно опасен для человека: 50 шокирующих фактов о пауках Что вытворяют тарантулы во время стресса и какой вид смертельно опасен для человека: 50 шокирующих фактов о пауках

Пауки не только устрашающе выглядят, но и полны загадок

ТехИнсайдер
4 признака, что отправляться в совместное путешествие с человеком не стоит 4 признака, что отправляться в совместное путешествие с человеком не стоит

Иногда стили отдыха даже самых близких людей не совпадают, и это нормально

Psychologies
Глава холдинга АО «Росхим»: «Стране нужна сильная химическая промышленность» Глава холдинга АО «Росхим»: «Стране нужна сильная химическая промышленность»

Российская промышленность стремится освоить новые импортозамещающие механизмы

ФедералПресс
Как позвонить на Алису: подробная инструкция Как позвонить на Алису: подробная инструкция

Сейчас мы расскажем, как позвонить домой на Алису с телефона

CHIP
В диалоге с цветами В диалоге с цветами

Формы и стили, которые подчеркивают и по-новому показывают красоту цветка

Наука и жизнь
Злата и Мирослава Злата и Мирослава

Непо-бейби и топ-блогеры Мирослава и Злата Быковы стремительно делают карьеру

Собака.ru
Как избавиться от чувства вины и стыда? Объясняет психолог Как избавиться от чувства вины и стыда? Объясняет психолог

Что скрывают за собой стыд и вина? Стоит ли избавляться от этих чувств?

VOICE
Андрей Себрант: «В карьере нет заранее известной конечной точки» Андрей Себрант: «В карьере нет заранее известной конечной точки»

Как технологии повлияли на карьерное развитие в IT и где искать предсказуемость

РБК
Открыть в приложении