Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как поменять работу после 40 лет Как поменять работу после 40 лет

Как преодолеть страх и безболезненно сменить род деятельности в зрелом возрасте

Maxim
Новые русские миллионеры Новые русские миллионеры

Новые русские миллионеры — что это за люди и как они вошли в новую реальность

Правила жизни
Из чего состоит компьютер: познавательный гайд по комплектующим Из чего состоит компьютер: познавательный гайд по комплектующим

Дьявол кроется в деталях — изучаем составляющие персонального компьютера

CHIP
Михаил Эпштейн: Как люди находят утешение в обиде Михаил Эпштейн: Как люди находят утешение в обиде

Понятия, которые лежат в основе мышления, но с трудом поддаются определению

СНОБ
Как заставить питомца принимать лекарства: 5 простых способов спрятать таблетку Как заставить питомца принимать лекарства: 5 простых способов спрятать таблетку

Как замаскировать таблетку, чтобы питомец ничего не заподозрил

ТехИнсайдер
Как выходить из неловких ситуаций: эффективный способ Как выходить из неловких ситуаций: эффективный способ

Что поможет сохранить лицо даже в самых глупых ситуациях?

Psychologies
Как общаться с прорабом и строителями, чтобы тебя не обманули: 4 совета от опытного дизайнера Как общаться с прорабом и строителями, чтобы тебя не обманули: 4 совета от опытного дизайнера

О чем важно сразу договориться с ремонтной бригадой и как проверять этапы работ

Maxim
Лори не запишут в Черную книгу: как жители крошечного острова пытаются спасти вымирающих попугаев Лори не запишут в Черную книгу: как жители крошечного острова пытаются спасти вымирающих попугаев

Попугаи лори сегодня находятся на грани исчезновения

ТехИнсайдер
Путеводитель по Ясной поляне Путеводитель по Ясной поляне

Знакомьтесь с бытом, привычками и увлечениями Льва Толстого

Культура.РФ
От иранской грязи до обесцвечивания: как женщины в СССР боролись с лишними волосами на теле От иранской грязи до обесцвечивания: как женщины в СССР боролись с лишними волосами на теле

Эпиляция по-советски: что помогало женщинам удалять волосы с тела?

VOICE
Новорожденный чувствует тонкие языковые различия в самые первые часы жизни Новорожденный чувствует тонкие языковые различия в самые первые часы жизни

Нейробиологи увидели богатые реакции мозга новорожденного на звуковые образы

ТехИнсайдер
Хоть стой, хоть падай: вся правда про унитаз, где в доме действительно грязно, и чем грозит частое мытье рук Хоть стой, хоть падай: вся правда про унитаз, где в доме действительно грязно, и чем грозит частое мытье рук

Кто же победит в битве за звание самого грязного места в доме?

ТехИнсайдер
Муза автора боится Муза автора боится

«Люся»: Иван Твердовский о природе творчества

Weekend
Парадокс Пето: ученые узнали, почему слоны редко болеют раком Парадокс Пето: ученые узнали, почему слоны редко болеют раком

Что такое пародокс Пето и почему он не распространяется на слонов?

ТехИнсайдер
7 особенных фильмов и сериалов красавицы Виктории Толстогановой 7 особенных фильмов и сериалов красавицы Виктории Толстогановой

Роковая женщина, добрая внутри!

Maxim
Расслабиться по-настоящему: 7 необходимых типов отдыха Расслабиться по-настоящему: 7 необходимых типов отдыха

Для того, чтобы чувствовать себя отдохнувшими, нам нужны разные виды отдыха

Psychologies
Вопрос психологу: что такое синдром отложенной жизни и как с ним справиться? Вопрос психологу: что такое синдром отложенной жизни и как с ним справиться?

Ловили ли вы себя на мысли, что ожидаете лучших времен?

Правила жизни
Долли, какенваген и фокусник на съемочной площадке: забавные суеверия и свой язык киношников Долли, какенваген и фокусник на съемочной площадке: забавные суеверия и свой язык киношников

Киношники, пожалуй, самый суеверный народ с тонкой душевной организацией

ТехИнсайдер
Смертельный исход: 10 актеров, которые погибли до выхода фильма Смертельный исход: 10 актеров, которые погибли до выхода фильма

За успехом киноленты стоит не только адский труд актеров, но и трагедии

ТехИнсайдер
Постотпускной синдром: 4 совета, как не уволиться сразу после отдыха Постотпускной синдром: 4 совета, как не уволиться сразу после отдыха

Как снизить уровень постотпускной тоскливости и настроиться на рабочий лад

Psychologies
Признаки овуляции: как рассчитать и распознать симптомы Признаки овуляции: как рассчитать и распознать симптомы

Как узнать, что овуляция наступила

VOICE
14000-летний архаичный череп из Китая оказался сапиентным 14000-летний архаичный череп из Китая оказался сапиентным

Палеогенетики отсеквенировали ДНК из останков, найденных в пещере Малудун

N+1
«Прикольно, когда можешь нанять топ-менеджера, находясь в СИЗО»: Сергей Фаге о тюрьме, «инсайтах» после неё и биохакинге «Прикольно, когда можешь нанять топ-менеджера, находясь в СИЗО»: Сергей Фаге о тюрьме, «инсайтах» после неё и биохакинге

Как СИЗО помог предпринимателю научиться делегировать и справляться со стрессом

VC.RU
Физики измерили теплопроводность сферической картошки и помидоров Физики измерили теплопроводность сферической картошки и помидоров

Физики описали дешевый метод измерения коэффициента теплопроводности у фруктов

N+1
Одна вокруг света: оазис и таинственные знаки в пустыне Одна вокруг света: оазис и таинственные знаки в пустыне

178-я серия о кругосветном путешествии москвички Ирины Сидоренко и ее собаки

Forbes
Как научиться быть благодарным: 3 шага Как научиться быть благодарным: 3 шага

Как научиться быть благодарным себе, окружающим и миру даже в трудные времена?

Psychologies
Стать ее голосом: как журналистка из США открывала неизвестных художниц Возрождения Стать ее голосом: как журналистка из США открывала неизвестных художниц Возрождения

Как НКО Advancing Women Artists ищет художниц эпохи Возрождения

Forbes
Уместить человечество в 16 типов: что такое тестирование MBTI и стоит ли ему верить Уместить человечество в 16 типов: что такое тестирование MBTI и стоит ли ему верить

Действительно ли люди делятся на 16 типов личности?

Forbes
Братья Либерманы продают акции самих себя, чтобы другие заработали, — это их «экстремальный способ проверить концепцию» Братья Либерманы продают акции самих себя, чтобы другие заработали, — это их «экстремальный способ проверить концепцию»

Зачем братья Либерманы продают самих себя?

VC.RU
Гумус: история органического вещества в почве Гумус: история органического вещества в почве

Существование молекул гумуса оказалось под вопросом

Наука и жизнь
Открыть в приложении