Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

20 вещей, которые могут тебе пригодиться в постели 20 вещей, которые могут тебе пригодиться в постели

Объекты и явления, при помощи которых твой секс будет еще великолепнее

Maxim
«За фасадом «За фасадом

Отрывок из книги Елены Осокиной о том, как был устроен быт в СССР

N+1
Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”» Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”»

Ресторатор Борис Зарьков – пат в шахматах, уход Michelin и «голые короли

СНОБ
«Менять надо не людей, а систему»: почему кризис может привести к росту бездомности «Менять надо не людей, а систему»: почему кризис может привести к росту бездомности

О помощи беженцам и безработным, об уходе крупных доноров с российского рынка

Forbes
Человек, который по ночам сочиняет музыку Человек, который по ночам сочиняет музыку

Возможно ли больше 30 лет провести в шоу-бизнесе, не заигрывая с низким вкусом?

СНОБ
Правила жизни Тупака Шакура Правила жизни Тупака Шакура

Рэпер, умер 13 сентября 1996 года в возрасте 25 лет

Правила жизни
Синтетический футуризм Синтетический футуризм

Эксперимент редакции с нейросетью, «вобравшей» в себя Сорокина и Пелевина

СНОБ
Когда и на какие российские машины пересаживали чиновников. Хроника Когда и на какие российские машины пересаживали чиновников. Хроника

Как чиновников пытались пересаживать на отечественные машины

РБК
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Археологи нашли в Паленке отрубленную каменную голову молодого бога кукурузы Археологи нашли в Паленке отрубленную каменную голову молодого бога кукурузы

Археологи обнаружили свидетельство ритуала, совершенного около 1300 лет назад

N+1
Коробка впечатлений. 7 мест, куда отправиться этим летом Коробка впечатлений. 7 мест, куда отправиться этим летом

Куда можно отправиться летом за новыми эмоциями и впечатлениями?

СНОБ
Какие учреждения появились в России при Петре I. Отрывок из книги Какие учреждения появились в России при Петре I. Отрывок из книги

Отрывок из книги «Люди и учреждения петровской эпохи»

СНОБ
Пробковый спор Пробковый спор

Алгоритмы лезут в бутылку: изобретают новые купажи, разрабатывают рецептуры

СНОБ
Водное отбеливание: это щадящее летнее окрашивание покорило всех модниц ТикТока — попробуй его! Водное отбеливание: это щадящее летнее окрашивание покорило всех модниц ТикТока — попробуй его!

Модницы сошли с ума по необычной технике окрашивания!

VOICE
Страх и ненависть в вишневом саду Страх и ненависть в вишневом саду

Режиссер Театра на Бронной Микита Ильинчик – о своем причудливом пути

СНОБ
Пальмы больше не нужны: зачем ехать на Северный полюс и в Антарктиду Пальмы больше не нужны: зачем ехать на Северный полюс и в Антарктиду

Арктический туризм набирает популярность у российских путешественников

Вокруг света
Каким получился «Род мужской» Алекса Гарленда — жуткий хоррор о дурных мужчинах Каким получился «Род мужской» Алекса Гарленда — жуткий хоррор о дурных мужчинах

Кинокритик Илья Верхоглядов размышляет о фильме «Род мужской» Алекса Гарленда

Правила жизни
На границе Европы и Азии На границе Европы и Азии

Обзор АПК Республики Башкортостан

Агроинвестор
Сооснователи Swiss Smile — о «спа для зубов» и ортодонтии под санкциями Сооснователи Swiss Smile — о «спа для зубов» и ортодонтии под санкциями

Юлия Фишкина и Станислав Вафин — о стандартах стоматологии премиум-класса

РБК
Клады железного века указали на проблемы финикийцев из-за падения Ассирии Клады железного века указали на проблемы финикийцев из-за падения Ассирии

Ученые определили происхождение серебра в кладах времен позднего железного века

N+1
Вместо Хургады — в полицию: 5 ходовых способов обмана россиян при покупке билетов Вместо Хургады — в полицию: 5 ходовых способов обмана россиян при покупке билетов

Как не попасться на уловки мошенников при планировании путешествия?

Вокруг света
Как построить коммунизм: почему Сталин хотел ввести 5-часовой рабочий день Как построить коммунизм: почему Сталин хотел ввести 5-часовой рабочий день

Почему Сталин хотел сократить трудовой день до пяти часов?

VOICE
Почему мы остаемся с нелюбимыми: 5 нелепых отговорок Почему мы остаемся с нелюбимыми: 5 нелепых отговорок

Как мы сами для себя оправдываем решение остаться с нелюбимыми?

Psychologies
«Рабы любви»: 7 советов жертвам насилия и сексуализированной эксплуатации «Рабы любви»: 7 советов жертвам насилия и сексуализированной эксплуатации

Как забыть насилие и что делать, если ты оказалась в секс-индустрии?

Psychologies
Один в поле воин Один в поле воин

Мирный книжный воин — про издательскую студию «Поле» и выпуск книг

Seasons of life
Человек, соразмерный Вселенной Человек, соразмерный Вселенной

Этой весной исполнилось бы 90 лет академику Николаю Кардашеву

Наука
Завтрак от громовой птицы: ученые раскрыли секрет древней австралийской яичницы Завтрак от громовой птицы: ученые раскрыли секрет древней австралийской яичницы

Аборигены Зеленого континента знали толк в сытной еде

Вокруг света
Мировой кубок Мировой кубок

Как создали чемпионат мира по футболу

Вокруг света
У клещей, живущих на лице человека, обнаружили анусы — и это далеко не все поразительные открытия У клещей, живущих на лице человека, обнаружили анусы — и это далеко не все поразительные открытия

Ученые разгадали генетические секреты самых тесных соседей человечества

ТехИнсайдер
Загар и родинки Загар и родинки

В ожидании пляжного сезона любые «отметины» на теле вызывают опасения

Лиза
Открыть в приложении