Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Колода джокеров и сорок сценариев будущего Колода джокеров и сорок сценариев будущего

Прогнозист Александр Чулок — о том, по какому пути может пойти развитие общества

РБК
Почему нас пугает человекоподобный робот: что такое эффект «зловещей долины»? Почему нас пугает человекоподобный робот: что такое эффект «зловещей долины»?

Вы когда-нибудь чувствовали странную тревогу, глядя на человекоподобных роботов?

Psychologies
20 вещей, которые могут тебе пригодиться в постели 20 вещей, которые могут тебе пригодиться в постели

Объекты и явления, при помощи которых твой секс будет еще великолепнее

Maxim
Валерия: Валерия:

Валерия откровенно рассказывает о своей жизни

Коллекция. Караван историй
Найти фриланс в IT за три месяца Найти фриланс в IT за три месяца

Как зарабатывать больше денег в кризис

СНОБ
Как правильно спать в жару: 7 советов, чтобы не перегреться Как правильно спать в жару: 7 советов, чтобы не перегреться

Эти простые советы помогут вам комфортно спать даже в жару

ТехИнсайдер
Синтетический футуризм Синтетический футуризм

Эксперимент редакции с нейросетью, «вобравшей» в себя Сорокина и Пелевина

СНОБ
Маленькая, но горная птичка: зачем ученые переселили колибри и что из этого вышло Маленькая, но горная птичка: зачем ученые переселили колибри и что из этого вышло

Крылатые аборигены Нового Света не вынесут перемен

Вокруг света
Жизнь в плену имени Жизнь в плену имени

Марк Юний Брут: история и жизнь того, кто лишил жизни Гая Юлия Цезаря

Дилетант
«Меня изнасиловали!»: принц Эндрю столкнулся с новыми обвинениями жертвы друга-педофила «Меня изнасиловали!»: принц Эндрю столкнулся с новыми обвинениями жертвы друга-педофила

Сын британской королевы еще больше погряз в громком сексуальном скандале

VOICE
«Авось пронесет» — не национальная русская черта, а свойство мозга. Нейрофизиология и финансы «Авось пронесет» — не национальная русская черта, а свойство мозга. Нейрофизиология и финансы

Почему мы безалаберно относимся к деньгам и что нам мешает откладывать

СНОБ
Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2 Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1
Счастливые молодожены: опубликованы первые свадебные фото Бритни Спирс и Сэма Асгари Счастливые молодожены: опубликованы первые свадебные фото Бритни Спирс и Сэма Асгари

Сэм Асгари и Бритни Спирс стали мужем и женой

VOICE
Съедобное из несъедобного: готовим вкусные блюда из сорняков Съедобное из несъедобного: готовим вкусные блюда из сорняков

Легким движением букет из полевых цветов превращается... в кулинарные изыски!

ТехИнсайдер
8 признаков обмана 8 признаков обмана

Как понять, что собеседник врет?

Лиза
Чем опасен борщевик: пятиминутный путеводитель по «врагу полей» Чем опасен борщевик: пятиминутный путеводитель по «врагу полей»

Развенчиваем мифы об агрессивном сорняке

Правила жизни
Классика для жизни Классика для жизни

«Следовать за мыслями великого человека есть наука самая занимательная»

Seasons of life
Как тревожные родители могут навредить ребенку Как тревожные родители могут навредить ребенку

Как уменьшить влияние своей тревоги на ребенка?

Psychologies
Это не любовь, а созависимость: как распознать нездоровые отношения и выбраться Это не любовь, а созависимость: как распознать нездоровые отношения и выбраться

Как справиться с созависимыми отношениями?

VOICE
Как формируются привычки и почему с возрастом сложно переучиваться? Как формируются привычки и почему с возрастом сложно переучиваться?

Как формируются привычки, можно ли ими управлять

СНОБ
Лошади из мавзолея Цинь Шихаунди оказались высокими взрослыми самцами Лошади из мавзолея Цинь Шихаунди оказались высокими взрослыми самцами

Для погребального ритуала первого императора Цинь отбирались высокие жеребцы

N+1
Сапсари Сапсари

Сапсари — удивительные собаки из Кореи

Weekend
Самки тасманийских сцинков сменили пол в утробе матери Самки тасманийских сцинков сменили пол в утробе матери

Тасманийские сцинки могут менять соотношение полов среди потомства

N+1
Тест-драйв бомбардировщика «Стелс»: достойный наследник легенды Тест-драйв бомбардировщика «Стелс»: достойный наследник легенды

Каково это управлять бомбардировщиком B-2?

ТехИнсайдер
«Сын разрушил нашу семью»: Лиам Пейн разорвал отношения с Шерил Коул «Сын разрушил нашу семью»: Лиам Пейн разорвал отношения с Шерил Коул

Лиам Пейн поделился откровениями о личной жизни

VOICE
Каким должен быть современный мужчина: россиянки назвали привлекающее их качество Каким должен быть современный мужчина: россиянки назвали привлекающее их качество

Наиболее популярные качества, которые женщины ценят в мужчинах

Psychologies
Флагман отрасли Флагман отрасли

Как холдинг ERSO развивает российский рынок электротехники

Наука
Как выбрать форму ногтей: советы мастера по маникюру Как выбрать форму ногтей: советы мастера по маникюру

Разбираемся в разновидностях форм ногтей и сочетаниях с цветом и длиной

РБК
«Божественная босоножка»: жизнь и трагедия Айседоры Дункан «Божественная босоножка»: жизнь и трагедия Айседоры Дункан

Ее жизнь — как будто сценарий бразильского сериала

Вокруг света
Морщины: почему появляются и как правильно с ними бороться Морщины: почему появляются и как правильно с ними бороться

Скорость старения кожи зависит не только от наследственности

РБК
Открыть в приложении