Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как поменять работу после 40 лет Как поменять работу после 40 лет

Как преодолеть страх и безболезненно сменить род деятельности в зрелом возрасте

Maxim
Анна Банщикова: «Люблю жизнь во всех её проявлениях» Анна Банщикова: «Люблю жизнь во всех её проявлениях»

Как Анне Банщиковой удаётся сочетать роли популярной актрисы и мамы троих детей?

Здоровье
За что англичане презирали вторую жену принца Чарльза больше всего, и как Камилла это исправила За что англичане презирали вторую жену принца Чарльза больше всего, и как Камилла это исправила

Раздражение и презрение британцев вызывала одна индивидуальная черта Камиллы

VOICE
«Городок»: место, куда хочется вернуться. История главного российского скетчкома 90-х «Городок»: место, куда хочется вернуться. История главного российского скетчкома 90-х

Илья Олейников и Юрий Стоянов: «Приглашаем вас в наш тихий и уютный городок»

Правила жизни
Как филлеры меняют лицо и сохраняют молодость Как филлеры меняют лицо и сохраняют молодость

Как и зачем применяют филлеры?

РБК
В чем секрет Xiaomi: что действительно выпускает компания? В чем секрет Xiaomi: что действительно выпускает компания?

Как Xiaomi превратилась из заурядной компании во всемирно известный бренд

CHIP
Посттравматический рост: как вписать экстремальный опыт в картину жизни Посттравматический рост: как вписать экстремальный опыт в картину жизни

«Преодолеть страх — значит найти точку опоры за пределами ситуации»

Psychologies
5 вопросов про Курбан-байрам 5 вопросов про Курбан-байрам

Ответы на базовые вопросы об одном из самых главных мусульманских праздников

Maxim
«Будет дороже, но возможности появятся» «Будет дороже, но возможности появятся»

Профессор Олег Вьюгин — о том, почему военный коммунизм никогда не победит

Правила жизни
Мифы об удачных свиданиях Мифы об удачных свиданиях

Какие мифы о свиданиях мешают нам, а не помогают

Psychologies
6 повседневных вещей, которые мы постоянно делаем неправильно 6 повседневных вещей, которые мы постоянно делаем неправильно

Несколько вещей, которые вы, вероятно, до сих пор делали неправильно

ТехИнсайдер
Если муж потерял работу Если муж потерял работу

Как не дойти до развода из-за нехватки денег

Лиза
До города далеко? До города далеко?

Эмин Агаларов – о секрете долгоиграющих ресторанов

Robb Report
Уроки русского: для каких нужд помещикам нужны были сенные девушки и при чем тут сено? Уроки русского: для каких нужд помещикам нужны были сенные девушки и при чем тут сено?

Особой кастой в поместье считались сенные девки, чья жизнь была беспросветна

ТехИнсайдер
Как топ-менеджер Warner Bros. отказался от работы (и зарплаты) мечты, чтобы продавать китайскую лапшу быстрого приготовления Как топ-менеджер Warner Bros. отказался от работы (и зарплаты) мечты, чтобы продавать китайскую лапшу быстрого приготовления

Можно ли решиться бросить успешную карьеру, чтобы продавать рамен?

Inc.
Не покладая лук Не покладая лук

Обычный лук как суперсредство для борьбы с лишним жиром? Почему бы и нет!

Men Today
«Шаббат возвращает меня к жизни» «Шаббат возвращает меня к жизни»

Двадцать четыре часа без работы и суеты, без гонки и спешки

Psychologies
Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем) Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем)

Суперзлодеи кинокомиксов порой интереснее любого добряка

Maxim
Кто изобрел алфавит: история, о которой вы не знали Кто изобрел алфавит: история, о которой вы не знали

Наша система письма была разработана людьми, которые не умели читать

ТехИнсайдер
Синдром самозванца: есть ли он у тебя и как его побороть Синдром самозванца: есть ли он у тебя и как его побороть

Откуда берется синдром самозванца, мешающий жить и работать

Maxim
Первого австралийского грифа описали по найденной почти 120 лет назад кости Первого австралийского грифа описали по найденной почти 120 лет назад кости

Гриф жил в Австралии в плейстоцене и питался тушами ныне вымершей мегафауны

N+1
Сделай сам: простой походный холодильник из подручных средств? Легко и доступно! Сделай сам: простой походный холодильник из подручных средств? Легко и доступно!

Как сделать оазис холода из "сами знаете чего и палок"

ТехИнсайдер
Секс-просвет или эмоциональное насилие: психолог о торговле вибраторами в «Л’Этуаль» Секс-просвет или эмоциональное насилие: психолог о торговле вибраторами в «Л’Этуаль»

Можно ли продавать секс-игрушки в неспециализированных розничных магазинах?

Psychologies
Как выходить из неловких ситуаций: эффективный способ Как выходить из неловких ситуаций: эффективный способ

Что поможет сохранить лицо даже в самых глупых ситуациях?

Psychologies
Как похудеть: советы для тех, кто не может начать с понедельника Как похудеть: советы для тех, кто не может начать с понедельника

Делимся маленькими хитростями, которые помогут сделать первые шаги в похудении

ТехИнсайдер
Ирина и Денис Клявер: Ирина и Денис Клявер:

Самонадеянный, самоуверенный, красивый нахал

Коллекция. Караван историй
Улик не было: насколько распространены ложные обвинения в изнасиловании Улик не было: насколько распространены ложные обвинения в изнасиловании

Отрывок из книги «Право на секс. Феминизм в XXI веке»

Forbes
Пивной живот, обвисшая грудь и еще 6 симптомов, которые могут говорить о серьезных заболеваниях Пивной живот, обвисшая грудь и еще 6 симптомов, которые могут говорить о серьезных заболеваниях

Даже супергероям, у которых никогда ничего не болит, иногда нужен врач

Maxim
Выбираем МФУ для дома: как учесть все нюансы Выбираем МФУ для дома: как учесть все нюансы

Перед покупкой МФУ важно ответить на несколько ключевых вопросов

CHIP
Что такое психологическая кастрация и как узнать, не подвергаешься ли ты ей Что такое психологическая кастрация и как узнать, не подвергаешься ли ты ей

Когда начнешь превращаться в подкаблучника, вспомни эту статью

Maxim
Открыть в приложении