Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Два десятка «черных курильщиков» предупредили о возможном скором извержении в Тихом океане Два десятка «черных курильщиков» предупредили о возможном скором извержении в Тихом океане

Высокотемпературная гидротермальная система связана с молодым активным разломом

N+1
Письма счастья: правила SMS-переписки, которая заинтригует мужчину Письма счастья: правила SMS-переписки, которая заинтригует мужчину

Какие сообщения помогут зацепить парня навсегда?

VOICE
«Городок»: место, куда хочется вернуться. История главного российского скетчкома 90-х «Городок»: место, куда хочется вернуться. История главного российского скетчкома 90-х

Илья Олейников и Юрий Стоянов: «Приглашаем вас в наш тихий и уютный городок»

Правила жизни
Макияж с блестками: как правильно наносить, идеи Макияж с блестками: как правильно наносить, идеи

Блестки дают возможность добавить в макияж яркости

РБК
История одного здания: усадьба Замятина-Третьякова в Москве История одного здания: усадьба Замятина-Третьякова в Москве

Рассказываем об интересных фактах из истории усадьбы Замятина-Третьякова

Культура.РФ
Как заморозить ягоды на зиму, чтобы они сохранили свои свойства Как заморозить ягоды на зиму, чтобы они сохранили свои свойства

Заморозить свежие ягоды на зиму довольно легко!

ТехИнсайдер
Олли Дабу: «Гости — это люди, которые кладут деньги в твой карман» Олли Дабу: «Гости — это люди, которые кладут деньги в твой карман»

Олли Дабу — о карантине, детском питании и гиде Michelin

Bones
5 романов, которые буквально заставят вас пойти в отпуск 5 романов, которые буквально заставят вас пойти в отпуск

Подборка книг, которая поможет окунуться в атмосферу самого беззаботного отдыха

ТехИнсайдер
Археологи обнаружили в скифской «Долине царей» составную витую гривну Археологи обнаружили в скифской «Долине царей» составную витую гривну

Ученые продолжили исследования кургана Туннуг-1

N+1
Шелк вместо микропластика: найден способ решить проблему загрязнения окружающей среды Шелк вместо микропластика: найден способ решить проблему загрязнения окружающей среды

Ученые предлагают использовать микрочастицы шелка вместо микропластика

ТехИнсайдер
Чай для стройности Чай для стройности

Быстрый способ сбросить вес или опасность для здоровья?

Лиза
Вспомнить всё! Вспомнить всё!

Лучшие витамины и минералы для мозга и памяти

Лиза
Скачок магнитного поля 1,1 миллиарда лет назад указал на солидный возраст внутреннего ядра Земли Скачок магнитного поля 1,1 миллиарда лет назад указал на солидный возраст внутреннего ядра Земли

В протерозое геодинамо генерировало поле, которое было сильнее современного

N+1
Как общаться с прорабом и строителями, чтобы тебя не обманули: 4 совета от опытного дизайнера Как общаться с прорабом и строителями, чтобы тебя не обманули: 4 совета от опытного дизайнера

О чем важно сразу договориться с ремонтной бригадой и как проверять этапы работ

Maxim
Врачи назвали 3 рабочие привычки, которые ухудшают ваш сон Врачи назвали 3 рабочие привычки, которые ухудшают ваш сон

Работа влияет на все аспекты жизни и не в последнюю очередь на сон

Inc.
20 игр для детей в путешествии 20 игр для детей в путешествии

Дорога пролетит незаметно, если устроить с ребенком интересную игру

Лиза
В Турции нашли летнюю резиденцию внука Чингисхана Хулагу В Турции нашли летнюю резиденцию внука Чингисхана Хулагу

Обнаружены следы поселения, предположительно сооруженного ильханом Хулагу

N+1
«Первое время пациент опасен для окружающих». Как в России лечат рак радиацией «Первое время пациент опасен для окружающих». Как в России лечат рак радиацией

Как меняется жизнь раковых больных, которые согласились на облучение

СНОБ
Еще раз про кино Еще раз про кино

«Главная роль»: затянутая шутка про изнанку кинобизнеса

Weekend

Бесценные рукописи и архивы с редкими фактами о жизни актера Петра Вельяминова

Коллекция. Караван историй
Каким был день смерти принцессы Дианы: о чем она думала, что делала и кого видела последним Каким был день смерти принцессы Дианы: о чем она думала, что делала и кого видела последним

Принцесса Диана была одной из самых известных. Каким был ее последний день?

VOICE
Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем) Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем)

Суперзлодеи кинокомиксов порой интереснее любого добряка

Maxim
Поэзия быта и апология безделья: лучшие фильмы Ричарда Линклейтера (и их особенности) Поэзия быта и апология безделья: лучшие фильмы Ричарда Линклейтера (и их особенности)

Лучшие фильмы Ричарда Линклейтера и выделяет ключевые приметы его стиля

Правила жизни
Сколько сети накидывают сверху Сколько сети накидывают сверху

Торговая наценка на отдельные продукты питания может доходить до 100–150 %

Агроинвестор
Новый эко-тренд: стартапы в США начали выпускать съедобную посуду вместо одноразовой Новый эко-тренд: стартапы в США начали выпускать съедобную посуду вместо одноразовой

Тренд на отказ от одноразовой посуды распространяется во всем мире

Inc.
«Не нужно переводить бумагу на всякие глупости»: интервью с Константином Котовым, основателем магазина Lebigmag «Не нужно переводить бумагу на всякие глупости»: интервью с Константином Котовым, основателем магазина Lebigmag

Интервью с Константином Котовым, открывшим магазин глянцевых журналов Lebigmag

Правила жизни
Бодрое утро Бодрое утро

7 лайфхаков, как выглядеть свежо после бессонной ночи

Лиза
Что происходит с телом человека после смерти? Что происходит с телом человека после смерти?

Что происходит с нашими телами после смерти?

ТехИнсайдер
Болезнь Леди Гаги и Селены Гомес: чем опасна волчанка и как ее распознать Болезнь Леди Гаги и Селены Гомес: чем опасна волчанка и как ее распознать

Системная красная волчанка — «болезнь с тысячью лиц»

Psychologies
Открыть в приложении