SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Исследование: как пустынная пыль влияет на образование облаков и климат Исследование: как пустынная пыль влияет на образование облаков и климат

Как пустыни влияют на формирование облаков?

ТехИнсайдер
Как растет взаимодействие с Китаем Как растет взаимодействие с Китаем

Китай и Россия на фоне западных санкций стали друг для друга выгодными

РБК
Виноват не хакер: 4 мифа о кибербезопасности, которые ставят бизнес под удар Виноват не хакер: 4 мифа о кибербезопасности, которые ставят бизнес под удар

Проблема кибербезопасности может крыться не в хакерах, а в сотрудниках

Inc.
Ксения Таран: «Благодарна Касаткиной, Бурдонскому, Чурсиной за то, что преподали мне свои уроки!» Ксения Таран: «Благодарна Касаткиной, Бурдонскому, Чурсиной за то, что преподали мне свои уроки!»

Театр — это живой организм: как ты к нему относишься, так он и отвечает

Коллекция. Караван историй
Большое плавание Большое плавание

Экскурсия по «Планете Океан»

Weekend
Люди из будущего Люди из будущего

Время не имеет над тайцами силы, ведь каждый продолжается в вечности

Вокруг света
Старость – не данность Старость – не данность

Можно ли на самом деле хотя бы замедлить старение?

Вокруг света
Миссия выполнима Миссия выполнима

В песнях ST (Александра Степанова) очень много любви

OK!
Елей: лей-лей, не жaлей Елей: лей-лей, не жaлей

В каких ситуациях вне храма может помочь чудодейственное масло — елей

КАНТРИ Русская азбука
Новая жизнь Новая жизнь

Вилла в Сочи с интерьером вне времени

SALON-Interior
Это должен знать каждый: что делать, если подавился? Как оказать помощь себе и ребенку? Это должен знать каждый: что делать, если подавился? Как оказать помощь себе и ребенку?

Как помочь себе или близкому, если кто-то подавился

ТехИнсайдер
Стрит-арт полушепотом Стрит-арт полушепотом

Артем Филатов: ботаническая философия

Weekend
Лайфстайл в локальном исполнении Лайфстайл в локальном исполнении

Lamoda делает акцент на уникальный ассортимент и строгий отбор брендов

Монокль
Сезонные работы Сезонные работы

Каким должен быть уход за кожей после лета?

Лиза
«Мой парень — маньяк» — жуткий триллер о правилах жизни в большом городе «Мой парень — маньяк» — жуткий триллер о правилах жизни в большом городе

Триллер «Мой парень — маньяк» напоминает: ты одинок, значит в опасности

VOICE
Тенденции следующего поколения субмарин Тенденции следующего поколения субмарин

Какие технологии и инновационные подходы внедряют при разработке подводных лодок

Обозрение армии и флота
Новые школьные проекты: фармакология и терапия дислексии Новые школьные проекты: фармакология и терапия дислексии

Работы школьников, обратившие на себя внимание авторитетных специалистов

Наука и техника
Исповедь рэп-звезды: как фильм «Телец» показывает взлеты и падения Machine Gun Kelly Исповедь рэп-звезды: как фильм «Телец» показывает взлеты и падения Machine Gun Kelly

«Телец» — тягучая музыкальная история рэпера Колсона Бэйкера

Forbes
«Включение в систему» «Включение в систему»

Как немецкий народ приобщали к обязательной для всех нацистской идеологии

Дилетант
Грипповой эксперимент Грипповой эксперимент

«Идеальный лжец»: карантин и классовые отношения

Weekend
Не только смартфон Не только смартфон

Полезные гаджеты и лучшие приложения для учебы

Лиза
«Я вечно все порчу»: что такое ограничивающие убеждения и как они влияют на нашу жизнь «Я вечно все порчу»: что такое ограничивающие убеждения и как они влияют на нашу жизнь

Почему возникают ограничивающие убеждения и как с ними справиться?

Psychologies
Нобелевские премии по физике в контексте истории Нобелевские премии по физике в контексте истории

Как Карл Озеен сделал все, чтобы Эйнштейн получил заслуженную Нобелевскую премию

Наука и жизнь
Ветер с Юга дул Ветер с Юга дул

Краткая история «Унесенных ветром» в 50 пунктах

Weekend
Жизнь моя — шарманка Жизнь моя — шарманка

«Планета Джанет»: образцовая мелодрама A24

Weekend
Бег по лавандовому полю за €2 млн: зачем в Париже сделали красивой легкую атлетику Бег по лавандовому полю за €2 млн: зачем в Париже сделали красивой легкую атлетику

Почему французы на Олимпиаде отошли от традиционного кирпично-красного цвета?

Forbes
5 способов укрепить свой внутренний стержень 5 способов укрепить свой внутренний стержень

Как развивать внутреннюю опору, которая поможет справляться с трудностями

Psychologies
«В начале было кофе. Лингвомифы, речевые „ошибки“ и другие поводы поломать копья в спорах о русском языке» Почему некоторые слова перестают склоняться «В начале было кофе. Лингвомифы, речевые „ошибки“ и другие поводы поломать копья в спорах о русском языке» Почему некоторые слова перестают склоняться

О том, почему некоторые слова в русском языке теряют возможность склоняться

N+1
Постотпускной синдром Постотпускной синдром

Почему можно впасть в депрессию после отдыха и что с этим делать

Лиза
«Что делать женщине, если…» «Что делать женщине, если…»

Совсем скоро в Okko стартует новый сезон сериала «Что делать женщине, если…»

OK!
Открыть в приложении