SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Дымзавесы и перцовый газ: как оборонка СССР создавала противоугонные системы Дымзавесы и перцовый газ: как оборонка СССР создавала противоугонные системы

Охранная система, которая работала по принципу газового оружия, существовала

ТехИнсайдер
Денег нет, но я держусь: как психологически справиться с финансовым кризисом Денег нет, но я держусь: как психологически справиться с финансовым кризисом

Как помочь себе справиться с денежным кризисом?

VOICE
Почему интернет перестает быть свободным и переходит к гиперконтролю Почему интернет перестает быть свободным и переходит к гиперконтролю

Какой будет новая этика для мессенджеров в условиях гиперконтроля интернета

Forbes
Удаляют себе ногти на ногах! Вот на какие жертвы идут бегуны Канады ради победы Удаляют себе ногти на ногах! Вот на какие жертвы идут бегуны Канады ради победы

Профессиональные спортсмены подвергают свои тела экстремальным практикам

ТехИнсайдер
Два месяца под землей без света и общения с людьми: эксперимент Мишеля Сифра Два месяца под землей без света и общения с людьми: эксперимент Мишеля Сифра

Как проходил эксперимент Мишеля Сифра и к каким он пришел выводам

ТехИнсайдер
Вместо тревожных новостей — балет: почему в СССР в трудные времена показывали «Лебединое озеро» Вместо тревожных новостей — балет: почему в СССР в трудные времена показывали «Лебединое озеро»

Почему «Лебединое озеро» стало предвестником серьезных политических событий?

ТехИнсайдер
Первая it-girl и «восхитительное пустое место»: Эди Седжвик как икона стиля Первая it-girl и «восхитительное пустое место»: Эди Седжвик как икона стиля

Эди Седжвик — первый модный инфлюенсер середины шестидесятых

Правила жизни
Астрономы впервые увидели разрыв очень массивной звезды сверхмассивной черной дырой Астрономы впервые увидели разрыв очень массивной звезды сверхмассивной черной дырой

Уникальное событие разрушения звезды сверхмассивной черной дырой

N+1
«Вам звонят из…» «Вам звонят из…»

Почему мы не можем просто положить трубку, когда звонят мошенники?

Psychologies
9 фраз, которые лучше никогда не произносить вслух 9 фраз, которые лучше никогда не произносить вслух

Чего не стоит говорить людям, чтобы не сделать им хуже?

Psychologies
Тренеры по красивой жизни Тренеры по красивой жизни

Как не прогадать с покупкой у инфоцыган курсов-пустышек

РБК
Чем съемка Игр в Париже отличалась от съемки Олимпиады в Сочи — рассказывает Андрей Болтенко Чем съемка Игр в Париже отличалась от съемки Олимпиады в Сочи — рассказывает Андрей Болтенко

Почему парижское открытие Игр и революционное, и «жульническое» одновременно

СНОБ
Тандыр Тандыр

Тандыры и еду из них можно встретить на всем протяжении Великого шелкового пути

Bones
Каир: город святости, богатства и нищеты Каир: город святости, богатства и нищеты

Каир – памятники ушедших эпох и современные люди, живущие в нем

Зеркало Мира
Если бы в школе был урок биографии Если бы в школе был урок биографии

Почему в школе не изучают биографию?

Дилетант
Как выбрать подушку? Как выбрать подушку?

Как выбрать комфортную подушку и из чего она должна быть сделана

Maxim
По следам мореплавателя По следам мореплавателя

Остров Беринга не оставляет привычных критериев для оценки действительности

2Xplore
Энергия на любой вкус Энергия на любой вкус

Всем по зарядке! — бросил клерк, обводя руками свою компанию. — Я угощаю!

Наука и жизнь
Факелы свободы: как Эдвард Бернейс заставил курить всю Америку Факелы свободы: как Эдвард Бернейс заставил курить всю Америку

Эдвард Бернейс: гениальный маркетолог, трудами которого зачитывался Геббельс

Правила жизни
«Наша служба и опасна, и трудна»: самые рискованные профессии в мире «Наша служба и опасна, и трудна»: самые рискованные профессии в мире

Самые опасных специальностях в мире, которые требуют силы духа и устойчивости

ТехИнсайдер
Эмоциональный инцест: 4 признака, что вы слишком близки с ребенком Эмоциональный инцест: 4 признака, что вы слишком близки с ребенком

Где та грань, за которой близость с родителями становится нездоровой?

Psychologies
Да, анальный секс без проникновения существует — и вот как им заняться! Да, анальный секс без проникновения существует — и вот как им заняться!

Как насчет того, чтобы поэкспериментировать с концепцией анального секса?

VOICE
«Как я разденусь?»: 8 неочевидных причин, которые мешают достичь оргазма «Как я разденусь?»: 8 неочевидных причин, которые мешают достичь оргазма

Что мешает вам получать удовольствие от близости с любимым человеком?

Psychologies
Графомания или смерть Графомания или смерть

Что вынуждает ученых публиковать так много статей

N+1
5 секретов для достижения любой цели 5 секретов для достижения любой цели

Успех начинания, каким бы оно ни было, зависит от пяти элементов благополучия

Psychologies
Защищает от простуды и рака! Узнайте интересные факты о пользе приправы карри Защищает от простуды и рака! Узнайте интересные факты о пользе приправы карри

Карри: ароматная и полезная для здоровья приправа

ТехИнсайдер
Как появилась любовь с точки зрения эволюции: мнение биолога Ирины Якутенко Как появилась любовь с точки зрения эволюции: мнение биолога Ирины Якутенко

Как природа помогает парам укреплять связь?

Psychologies
4 признака, что отправляться в совместное путешествие с человеком не стоит 4 признака, что отправляться в совместное путешествие с человеком не стоит

Иногда стили отдыха даже самых близких людей не совпадают, и это нормально

Psychologies
Собрание автомобильных редкостей Собрание автомобильных редкостей

Об уникальных автомобилях, вошедших в историю

Зеркало Мира
А ты возьми и купи слона А ты возьми и купи слона

Как узнать все секреты продавцов, чтобы покупать осознанно?

Psychologies
Открыть в приложении