Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Анастасия Ефимова: «Если тратить свою энергию на обиды, тогда ее не останется больше ни на что» Анастасия Ефимова: «Если тратить свою энергию на обиды, тогда ее не останется больше ни на что»

Отельер Анастасия Ефимова – о гостеприимстве и духе времени

СНОБ
Как обустроить сад в средиземноморском стиле: 4 идеи от ландшафтного дизайнера Как обустроить сад в средиземноморском стиле: 4 идеи от ландшафтного дизайнера

Как создать на своем участке сад, который будет напоминать о пейзажах Ниццы?

Вокруг света
Что нам стоик Что нам стоик

Как при помощи стоической философии избавиться от боли

Правила жизни
Обезболить нельзя терпеть Обезболить нельзя терпеть

Всегда ли, стремясь поскорее заглушить боль, мы помним о безопасности?

Здоровье
Найти фриланс в IT за три месяца Найти фриланс в IT за три месяца

Как зарабатывать больше денег в кризис

СНОБ
«Живите долго!»: простые советы долгожителей «Живите долго!»: простые советы долгожителей

Как встать на путь к долголетию?

Psychologies
Новые региональные проекты, которые делают горожан счастливее Новые региональные проекты, которые делают горожан счастливее

«Сноб» поговорил с основателями частных проектов в регионах

СНОБ
Проклятый аксессуар: почему дочь Жаклин Кеннеди отказалась от семейной реликвии Проклятый аксессуар: почему дочь Жаклин Кеннеди отказалась от семейной реликвии

История аксессуара, который передавался в семье Жаклин Кеннеди с 1903 года

VOICE
Синтетический футуризм Синтетический футуризм

Эксперимент редакции с нейросетью, «вобравшей» в себя Сорокина и Пелевина

СНОБ
Как звездам дают имена, и почему у них бывает несколько названий Как звездам дают имена, и почему у них бывает несколько названий

Ведь не у всех звезд есть имена… или нет?

ТехИнсайдер
О каждом пятом О каждом пятом

В XXI веке реабилитация нацизма вползла в наш мир

Дилетант
Физики смоделировали лавину из фруктов на прилавке Физики смоделировали лавину из фруктов на прилавке

Физики исследовали образование лавин в монослое сфер в наклоненном лотке

N+1
Взрывной характер Взрывной характер

«Оппенгеймер»: дебаты о коммунизме, квантовая физика и охота на ведьм

Дилетант
3 научные причины полюбить музыку 3 научные причины полюбить музыку

Музыка может поменять структуру мозга

Psychologies
«Медвежья болезнь»: как кишечник командует нашим поведением и настроением «Медвежья болезнь»: как кишечник командует нашим поведением и настроением

Оказывается, вовсе не мозг и не желудок требуют от нас купить шоколадку

Psychologies
Как энергетики влияют на нас и почему после их употребления наступает упадок сил? Как энергетики влияют на нас и почему после их употребления наступает упадок сил?

Опасны ли энергетики? И что происходит в организме при их употреблении?

ТехИнсайдер
Ягода-клубника Ягода-клубника

Ягодные десерты менее калорийны, чем кремовые пирожные и торты

Здоровье
5 городов, которые на самом деле сводят с ума: все об опасных для психики «синдромах путешественника» 5 городов, которые на самом деле сводят с ума: все об опасных для психики «синдромах путешественника»

Какие опасности поджидают туристов в Иерусалиме, Париже и Венеции?

Вокруг света
Когнитивный диссонанс: как Филлис Шлэфли строила карьеру, отрицая идеи феминизма Когнитивный диссонанс: как Филлис Шлэфли строила карьеру, отрицая идеи феминизма

Американка Филлис Шлэфли была одной из самых успешных противниц феминизма

Forbes
Польза «золотых яблок»: 5 причин есть томаты каждый день, о которых вы не слышали Польза «золотых яблок»: 5 причин есть томаты каждый день, о которых вы не слышали

Чем хорош самый популярный в России овощ

Вокруг света
«После того как меня изнасиловали, отношения с мужем дали трещину» «После того как меня изнасиловали, отношения с мужем дали трещину»

Наша героиня поделилась своим травматичным опытом

Psychologies
Археолог-любитель нашел второй фрагмент редкого меча эпохи викингов Археолог-любитель нашел второй фрагмент редкого меча эпохи викингов

Археолог-любитель обнаружил фрагмент меча эпохи викингов

N+1
8 причин, почему мужчинам тяжело живется 8 причин, почему мужчинам тяжело живется

Мужская доля порой бывает совершенно невыносимой

Maxim
5 способов прокачать знание иностранных языков с помощью музыки 5 способов прокачать знание иностранных языков с помощью музыки

Можно ли использовать музыку для изучения иностранных языков?

ТехИнсайдер
Актрисы и демоницы: пять книг, которые мы будем читать этим летом Актрисы и демоницы: пять книг, которые мы будем читать этим летом

Несколько интересных художественных новиков

Forbes
Я ок, и ты ок: что такое экология общения? Я ок, и ты ок: что такое экология общения?

Относиться друг к другу экологично – что это значит?

Новый очаг
«Булочка», «плюшечка» и прочие сладости: как влияют на детей их семейные прозвища «Булочка», «плюшечка» и прочие сладости: как влияют на детей их семейные прозвища

Что скрывается за милыми эпитетами и как это может повлиять на жизнь ребенка?

Psychologies
Из Китая с любовью: 10 популярных новинок китайского автопрома в 2022 году Из Китая с любовью: 10 популярных новинок китайского автопрома в 2022 году

Кроссоверы, на которые стоит обратить внимание

ТехИнсайдер
Вид с мостика: что может узнать о жизни миллиардеров капитан суперъяхты Вид с мостика: что может узнать о жизни миллиардеров капитан суперъяхты

Книга Брендана О'Шэннесси поможет взглянуть на нюансы управления суперъяхтами

Forbes
Пэлтроу в бриллиантах, Лопес на шпильках: как звезды одеваются в отпуске Пэлтроу в бриллиантах, Лопес на шпильках: как звезды одеваются в отпуске

Что надевают звезды в свои свободные от папарацци дни?

VOICE
Открыть в приложении