Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как поменять работу после 40 лет Как поменять работу после 40 лет

Как преодолеть страх и безболезненно сменить род деятельности в зрелом возрасте

Maxim
Стать ее голосом: как журналистка из США открывала неизвестных художниц Возрождения Стать ее голосом: как журналистка из США открывала неизвестных художниц Возрождения

Как НКО Advancing Women Artists ищет художниц эпохи Возрождения

Forbes
Клад из золотых римских ауресов закопали в Британии еще до римского завоевания Клад из золотых римских ауресов закопали в Британии еще до римского завоевания

Драгоценные находки, сделанные несколько лет назад в графстве Норфолк

N+1
Орнитологи вернули вымерших в природе голубых ара в бразильские леса Орнитологи вернули вымерших в природе голубых ара в бразильские леса

Орнитологи выпустили восемь голубых ара в заповеднике в штате Баия

N+1
В двух сантиметрах от позора: Бейонсе, Дафф, Спирс и другие звезды, которые не умеют носить мини В двух сантиметрах от позора: Бейонсе, Дафф, Спирс и другие звезды, которые не умеют носить мини

Как не стать жертвой модного провала, надев мини?

VOICE
Двойная победа: как спорт собирает миллионы на благотворительность Двойная победа: как спорт собирает миллионы на благотворительность

Спортивный фандрайзинг — перспективное направление филантропии

Forbes
Почему так популярны теории заговора? Они доставляют сторонникам приятные эмоции Почему так популярны теории заговора? Они доставляют сторонникам приятные эмоции

Несмотря на все научные опровержения, теории заговора по-прежнему популярны

ТехИнсайдер
Беречь лицо, не врать и не бояться: как «Гоголь-центр» стал зеркалом эпохи Беречь лицо, не врать и не бояться: как «Гоголь-центр» стал зеркалом эпохи

Какую роль сыграл «Гоголь-центр» в современной российской культуре

Forbes
Голая правда: путь к себе через нудистский пляж Голая правда: путь к себе через нудистский пляж

Как наша телесная обнаженность влияет на наше самоощущение?

Psychologies
История одной вещи: подстаканники, без которых не обходится путешествие на поезде История одной вещи: подстаканники, без которых не обходится путешествие на поезде

Рассказываем вековую историю подстаканников

Правила жизни
Семейный подряд: как мать помогала маньяку Александру Спесивцеву охотится на детей Семейный подряд: как мать помогала маньяку Александру Спесивцеву охотится на детей

С1991 по 1996 годы Алексей убил в своей квартире по меньшей мере 19 девочек

VOICE
Дать слово преступникам: как репрессии в Индонезии влияют на общество спустя полвека Дать слово преступникам: как репрессии в Индонезии влияют на общество спустя полвека

Как в Индонезии осмысляют геноцид и почему реальные события искажаются

Forbes
Синдром самозванца: есть ли он у тебя и как его побороть Синдром самозванца: есть ли он у тебя и как его побороть

Откуда берется синдром самозванца, мешающий жить и работать

Maxim
7 российских художниц XX века 7 российских художниц XX века

Российский художницы XX века, чьи работы печатали известные издания

Культура.РФ
Для хорошего настроения Для хорошего настроения

Квартира, в которой можно окунуться в свой маленький мир

Идеи Вашего Дома
Польза и вред куркумы: исследования ученых Польза и вред куркумы: исследования ученых

Ценные свойства и особенности куркумы

РБК
Гравитационную постоянную измерили с помощью изгибных колебаний металлических балок Гравитационную постоянную измерили с помощью изгибных колебаний металлических балок

Новый способ измерения гравитационной постоянной

N+1
Unmatched по версии Кранаха: что стоит за картинами немецкого живописца? Unmatched по версии Кранаха: что стоит за картинами немецкого живописца?

На какие темы писал картины Лукас Кранах и кого таким образом высмеивал

Правила жизни
5 самых диких убийц Дикого Запада 5 самых диких убийц Дикого Запада

Самые кровожадные типы, которые прославились своей жестокостью на Диком Западе

Maxim
Как объяснить даже детям, что такое маятник Фуко Как объяснить даже детям, что такое маятник Фуко

Как объяснить принцип маятника Фуко любому человеку можно за пять минут

ТехИнсайдер
Северные контрасты Северные контрасты

Квартира, отражающая в интерьере семейные корни и любимые вещи из детства

Идеи Вашего Дома
Тропический остров Тропический остров

Интерьер в морских тонах пробуждает бунтарское настроение

Идеи Вашего Дома

Об Олеге Ефремове можно рассказывать бесконечно

Караван историй
Пенится квас в ковше Пенится квас в ковше

Квас — одно из древнейших русских кулинарных изобретений

Наука и жизнь
10 знаковых произведений для фортепиано за последние 300 лет 10 знаковых произведений для фортепиано за последние 300 лет

Какие произведения для фортепиано нужно обязательно услышать?

Правила жизни
Зачем нужен пилинг для кожи головы и как его выбрать Зачем нужен пилинг для кожи головы и как его выбрать

Пилинг поможет избавиться от перхоти, зуда и повышенной жирности головы

РБК
Археологи выявили четко продуманную застройку на домонгольском селище Чаадаево-5 Археологи выявили четко продуманную застройку на домонгольском селище Чаадаево-5

Археологи сообщили о результатах охранно-спасательных раскопок Чаадаева-5

N+1
Никуда не денется: 7 способов Никуда не денется: 7 способов

От некоторых женщин мужчины не уходят. В чем их секрет?

VOICE
Вызывающе яркая помада: как макияж становится инструментом борьбы за права женщин Вызывающе яркая помада: как макияж становится инструментом борьбы за права женщин

Красная помада, бигуди, готическая подводка — макияж как часть активизма

Forbes
В Египте нашли мумию парализованной после инсульта женщины В Египте нашли мумию парализованной после инсульта женщины

Ученые исследовали древнеегипетскую мумию, похороненную с костылем

N+1
Открыть в приложении