Исследователи из DeepMind разработали мультимодальную нейросеть

N+1Hi-Tech

Нейросеть от DeepMind научилась решать 604 задачи разных типов

Исследователи из DeepMind разработали мультимодальную нейросеть, способную выполнять задачи разного типа. Например, она умеет управлять роботом, играть в игры для Atari, писать текст и описывать фотографии. Статья об алгоритме опубликована на arXiv.org, также авторы рассказали о нем на сайте DeepMind.

Григорий Копиев

DeepMind

В 2017 году исследователи из Google Brain представили нейросетевую архитектуру Transformer, отличительной особенностью которого стало широкое использование механизма внимания. Это позволяет нейросети гораздо лучше понимать контекст слов и предложений, что в свою очередь позволило добиться большого прогресса в целом в области обработки естественного языка. Один из самых известных примеров этого прогресса: модель GPT-3 от OpenAI. Оказалось, что если обучить модель на огромном массиве текстов, она выучит хорошее представления языка и того, как должны выглядеть тексты, после чего ее можно быстро и на очень небольшом объеме данных дообучить до конкретной задачи. Причем эта задача не обязательно должна быть текстовой: выяснилось, что GPT-3 умеет выполнять базовые арифметические операции.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Повреждения на 30-тысячелетних зубах кроманьонцев объяснили пирсингом Повреждения на 30-тысячелетних зубах кроманьонцев объяснили пирсингом

Антрополог проанализировал повреждения на зубах древних людей

N+1
Модный приговор: к чему может привести резкая смена образа? Модный приговор: к чему может привести резкая смена образа?

В чем опасность несоответствия имиджа и самого человека?

Psychologies
Изогнутый экран смартфона — это удобно? Изогнутый экран смартфона — это удобно?

Стоит ли покупать смартфоны с изогнутыми экранами?

CHIP
Действующий персонаж: как зарабатывать на героях метавселенной Действующий персонаж: как зарабатывать на героях метавселенной

Основатель Superplastic Пол Будниц создает персонажей в метавселенной

Forbes
Нерусская водка: какие бренды популярнее всего за рубежом Нерусская водка: какие бренды популярнее всего за рубежом

О самых популярных брендах иностранной «беленькой»

Maxim
Бегство в себя: причины и опасности внутренней эмиграции Бегство в себя: причины и опасности внутренней эмиграции

Полезна или губительна внутренняя эмиграция?

Psychologies
DomUm Decoration — платформа, объединяющая художников с покупателями DomUm Decoration — платформа, объединяющая художников с покупателями

DomUm Decoration поможет вам угадать, что купят для интерьера

VC.RU
Судьба палача: как сложилась жизнь Тоньки-пулеметчицы после Второй Мировой, и кто ее сдал Судьба палача: как сложилась жизнь Тоньки-пулеметчицы после Второй Мировой, и кто ее сдал

Антонина Макарова получила славу женщины-палача

ТехИнсайдер
Релокация менеджера: как эмигрировать и не навредить карьере Релокация менеджера: как эмигрировать и не навредить карьере

Советы, которые помогут избежать ошибок при релокации по работе

Forbes
Роскошь на пороге гибели: назван неожиданный ингредиент вина, которое пила иудейская знать Роскошь на пороге гибели: назван неожиданный ингредиент вина, которое пила иудейская знать

Вельможи наслаждались дорогим напитком перед гибелью царства

Вокруг света
Моя ужасная мама: 10 худших матерей в истории человечества Моя ужасная мама: 10 худших матерей в истории человечества

В истории найдется немало матерей, чьи поступки ужаснут любого

Вокруг света
Еще 10 неожиданных привычек, которые выдают в тебе интеллектуала Еще 10 неожиданных привычек, которые выдают в тебе интеллектуала

Вторая часть культовой подборки о странностях умных людей

Maxim
Как не просыпаться по утрам разбитым Как не просыпаться по утрам разбитым

Как перестать откладывать будильник и начать жить

Maxim
«Нет друзей, нет смысла, жизнь однообразна» «Нет друзей, нет смысла, жизнь однообразна»

Как начать принимать то, что у нас есть уже сейчас?

Psychologies
Тело — это просто тело: что такое бодипозитив и бодинейтральность Тело — это просто тело: что такое бодипозитив и бодинейтральность

Отрывок из книги «Мудрость тела» Хиллари Л. МакБрайд

Forbes
Старение замедлилось: английские ученые протестировали на мышах «средство для вечной молодости» Старение замедлилось: английские ученые протестировали на мышах «средство для вечной молодости»

Трансплантация кишечных микробов замедлила старение у пожилых грызунов

Вокруг света
Найденное под Сургутом погребение в лодке назвали шаманским Найденное под Сургутом погребение в лодке назвали шаманским

Погребение датируется началом I тысячелетия нашей эры

N+1
Мир во втором чтении Мир во втором чтении

Игорь Гулин об «Ангеле войны» Виктора Кривулина

Weekend
Неприятные спутники: какие психические состояния часто сопровождают депрессию Неприятные спутники: какие психические состояния часто сопровождают депрессию

Отрывок из книги «Так себе» — о заболвениях-спутниках депрессии

Forbes
Сила горя: зачем нужно оплакивать потери Сила горя: зачем нужно оплакивать потери

Все проживают горе по-своему, оно не проходит без следа. Как с ним справиться?

Psychologies
Как правильно мыть голову: инструкция и советы экспертов Как правильно мыть голову: инструкция и советы экспертов

Обязательно ли мыть голову или можно сбрызнуть ее сухим шампунем?

РБК
Понты дороже денег Понты дороже денег

«Самый дорогой коньяк», или Как решались вопросы долгов в начале нулевых

СНОБ
Последнее плавание «Лузитании»: история загадочной морской трагедии Последнее плавание «Лузитании»: история загадочной морской трагедии

7 мая 1915 года затонул один из самых знаменитых пароходов своего времени

Вокруг света
Бесконечное число самых прекрасных форм. 10 внезапных фактов о разнообразии видов Бесконечное число самых прекрасных форм. 10 внезапных фактов о разнообразии видов

Неожиданные факты о биоразнообразии — в нашей подборке

N+1
Философия безмятежности: как эпикурейцы учат относиться к страданиям и наслаждениям Философия безмятежности: как эпикурейцы учат относиться к страданиям и наслаждениям

Книга английского философа Джона Селларса «Философия безмятежности»

Forbes
Отец узнал, что я курю, и дал мне ремня! Отец узнал, что я курю, и дал мне ремня!

Истории про взрослых, которые при родителях ведут себя как дети

Лиза
Полезная сладость: как клубника помогает худеть и другие малоизвестные факты о любимом десерте россиян Полезная сладость: как клубника помогает худеть и другие малоизвестные факты о любимом десерте россиян

Чем полезна клубника для организма?

Вокруг света
Сестра братьев Райт: история женщины, которая помогла первому самолету взлететь Сестра братьев Райт: история женщины, которая помогла первому самолету взлететь

Отсутствие денег и застенчивость могли поставить крест на бизнесе братьев Райт

Forbes
«Оби-Ван Кеноби»: ностальгия по «Звездным войнам» с Юэном Макгрегором «Оби-Ван Кеноби»: ностальгия по «Звездным войнам» с Юэном Макгрегором

Как Disney расширяет мир Джорджа Лукаса

РБК
Жить по средствам: 3 шага к изменению привычек Жить по средствам: 3 шага к изменению привычек

Как изменить свои финансовые привычки?

Psychologies
Открыть в приложении