Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции

Зачем природе нужны самцы и почему она при этом совсем их не бережет

СНОБ
МЮ спонсирует криптоплатформа, а «Ливерпуль» — финтех-корпорация: как футбольная форма стала зеркалом технотрендов МЮ спонсирует криптоплатформа, а «Ливерпуль» — финтех-корпорация: как футбольная форма стала зеркалом технотрендов

Почему футбольные клубы сотрудничают с букмекерами и криптосервисами?

VC.RU
Овощ, ну ты и фрукт! Или гид по самой здоровой диете Овощ, ну ты и фрукт! Или гид по самой здоровой диете

Почему так важно есть овощи и как не морщиться при виде вегетарианского меню?

Men Today
Сделай сам: простой походный холодильник из подручных средств? Легко и доступно! Сделай сам: простой походный холодильник из подручных средств? Легко и доступно!

Как сделать оазис холода из "сами знаете чего и палок"

ТехИнсайдер
Сын героя: история маньяка Анатолия Бирюкова, который похищал и насиловал младенцев Сын героя: история маньяка Анатолия Бирюкова, который похищал и насиловал младенцев

Как сын Героя Советского Союза и ударник производства стал маньяком?

VOICE
Устойчивые к антибиотикам штаммы брюшного тифа распространяются из Южной Азии Устойчивые к антибиотикам штаммы брюшного тифа распространяются из Южной Азии

Брюшной тиф снова представляется опасность и может вызвать эпидемии

ТехИнсайдер
Шрамы украшают динозавров: палеонтологи рассмотрели у древних ящеров пупок Шрамы украшают динозавров: палеонтологи рассмотрели у древних ящеров пупок

Пситаккозавра просветили лазером

Вокруг света
Как начать больше читать: 6 советов американского писателя Как начать больше читать: 6 советов американского писателя

Как развить крайне важный навык и стать начитанным человеком

Правила жизни
Продолжительная засуха привела к социальной напряженности и краху Майяпана Продолжительная засуха привела к социальной напряженности и краху Майяпана

Ученые исследовали материалы из крупнейшей политической столицы майя

N+1
До работы далеко: как общаться с коллегами по переписке До работы далеко: как общаться с коллегами по переписке

Что такое дистанционный этикет и как его придерживаться?

VOICE
Заниматься сексом и еще 7 приятных вещей, которые надо регулярно делать летом, чтобы не болеть зимой Заниматься сексом и еще 7 приятных вещей, которые надо регулярно делать летом, чтобы не болеть зимой

Укреплять организм можно по-разному

Maxim
Семь причин боли в животе Семь причин боли в животе

Причин боли в животе очень много, и они самые разные

Здоровье
Планетологи нашли в древней истории Марса взрывное извержение кислой магмы Планетологи нашли в древней истории Марса взрывное извержение кислой магмы

Ученые промоделировали образование комплекса минералов, найденного марсоходом

N+1
Опасные незнакомцы Опасные незнакомцы

Как объяснить ребенку правила общения с чужими людьми

Лиза
10 признаков того, что ты психологически стабилен 10 признаков того, что ты психологически стабилен

Список, по которому можно определить — ты уже на пределе, или еще вывозишь

Maxim
Как вести строительный бизнес, когда твои конкуренты «Леруа Мерлен» и «Петрович»: история интернет-магазина «Кузьмич24» Как вести строительный бизнес, когда твои конкуренты «Леруа Мерлен» и «Петрович»: история интернет-магазина «Кузьмич24»

«Кузьмич24»: как из простого офлайн-магазина получился мощный онлайн-бренд

VC.RU
Причины возникновения и опасность анемии: всё о дефиците железа в организме Причины возникновения и опасность анемии: всё о дефиците железа в организме

Что такое анемия и как ее лечить?

VOICE
Мамины помощники: почему домохозяйки 1950-х сидели на транквилизаторах Мамины помощники: почему домохозяйки 1950-х сидели на транквилизаторах

Отрывок из книги «Нездоровые женщины» — как гендерные стереотипы мешали лечению

Forbes
Работает ли современная медицина и может ли она нанести вред Работает ли современная медицина и может ли она нанести вред

Эффективны ли применяемые сегодня методы лечения?

ТехИнсайдер
Почему ни в коем случае нельзя терпеть, если хочется в туалет? Почему ни в коем случае нельзя терпеть, если хочется в туалет?

Если ты терпишь позывы в туалет часто, это может привести к последствиям

VOICE
Гибель Надежды Гибель Надежды

Популярные версии причины конфликта на банкете в кремлёвской квартире Ворошилова

Дилетант
Новая волна Новая волна

Дарья Мороз — о работе над сценарием «Содержанки. Перезагрузка» и своей ролью

OK!
Как заставить питомца принимать лекарства: 5 простых способов спрятать таблетку Как заставить питомца принимать лекарства: 5 простых способов спрятать таблетку

Как замаскировать таблетку, чтобы питомец ничего не заподозрил

ТехИнсайдер
Хоть стой, хоть падай: вся правда про унитаз, где в доме действительно грязно, и чем грозит частое мытье рук Хоть стой, хоть падай: вся правда про унитаз, где в доме действительно грязно, и чем грозит частое мытье рук

Кто же победит в битве за звание самого грязного места в доме?

ТехИнсайдер
Национальные десерты Национальные десерты

Современный авторский взгляд на национальные десерты

Bones
Топ-10 бесплатных игр на ПК: популярные хиты, достойные вашего внимания Топ-10 бесплатных игр на ПК: популярные хиты, достойные вашего внимания

10 лучших бесплатных игр на любой вкус

CHIP
Как почувствовать себя лучше в кризис: 6 шагов Как почувствовать себя лучше в кризис: 6 шагов

Во времена испытаний ярче проявляются наши особенности, характерные черты

Psychologies
Страх и смех в одном флаконе: 30 отличных комедийных хорроров Страх и смех в одном флаконе: 30 отличных комедийных хорроров

Неуклюжие вампиры и зомби, откровенные пародии на жанр – будет весело и страшно

Правила жизни
За небольшие по мировым меркам деньги у вас может быть большой дом с садом, шофёр, повар и домработница: жизнь в Гане За небольшие по мировым меркам деньги у вас может быть большой дом с садом, шофёр, повар и домработница: жизнь в Гане

Гана: как тут дела с жильем, едой, зарплатами и всем остальным

VC.RU
Возвращаем силы и радость жизни: экспресс-практики с любимыми фото Возвращаем силы и радость жизни: экспресс-практики с любимыми фото

Хотите научиться быстро возвращаться в ресурсное состояние?

Psychologies
Открыть в приложении