Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Критикуй вовремя: как твердо высказать свое мнение, никого не обидев Критикуй вовремя: как твердо высказать свое мнение, никого не обидев

Как корректно говорить правду и высказывать свое мнение?

VOICE
«Я к вам пишу, а дальше что?»: как перестать бояться белого листа «Я к вам пишу, а дальше что?»: как перестать бояться белого листа

Тебя тоже пугает белый лист? VOICE знает, как бороться с белизной

VOICE
Координационный полимер помог разделить смесь изомерных ксилолов Координационный полимер помог разделить смесь изомерных ксилолов

Селективность адсорбции оказалась рекордной

N+1
5 неявных привычек, убивающих женственность день за днем 5 неявных привычек, убивающих женственность день за днем

Проверь, нет ли у тебя привычек, из-за которых можно перестать быть желанной

Лиза
1200 км за 8 дней: туристический маршрут по Сибири – путешествие, которые ты точно не забудешь 1200 км за 8 дней: туристический маршрут по Сибири – путешествие, которые ты точно не забудешь

Как за одну поездку посетить Красноярский край, Хакасию и Тыву

VOICE
Как понять, что вы строите серьезные отношения не с тем человеком: 7 признаков Как понять, что вы строите серьезные отношения не с тем человеком: 7 признаков

Как понять, действительно ли это настоящая любовь?

Psychologies
Как отраслевым компаниям работать в связке с изобретателями Как отраслевым компаниям работать в связке с изобретателями

Как крупнейший в мире производитель никеля наладил систему внедрения технологий

СНОБ
Как не надо мыть автомобиль: 5 ошибок, которые совершают чаще всего Как не надо мыть автомобиль: 5 ошибок, которые совершают чаще всего

Как во время мытья автомобиля не повредить лакокрасочное покрытие

CHIP
Политический скандал, отказ Брежнева и другие интересные факты об Олимпийских играх 1980 года Политический скандал, отказ Брежнева и другие интересные факты об Олимпийских играх 1980 года

10 увлекательных фактов о самом главном спортивном событии 1980 года

ТехИнсайдер
Машинное обучение и технология AR в ритейле: миф или реальность Машинное обучение и технология AR в ритейле: миф или реальность

Работа магазина – это большой механизм, в котором есть место новым технологиям

ТехИнсайдер
Правда ли, что алмазы горят: 7 интересных фактов о редких драгоценностях Правда ли, что алмазы горят: 7 интересных фактов о редких драгоценностях

Что вы знаете об алмазах?

ТехИнсайдер
Домашние животные российских императоров Домашние животные российских императоров

Каких домашних животных заводили царственные особы дома Романовых?

Культура.РФ
Муза автора боится Муза автора боится

«Люся»: Иван Твердовский о природе творчества

Weekend
Это вам не одуванчики: 5 самых опасных растений России, о которых должен знать каждый Это вам не одуванчики: 5 самых опасных растений России, о которых должен знать каждый

Ядовитые растения, которые встречаются в России практически везде

ТехИнсайдер
Оргазм не обязателен: 7 фактов о минете, которые ты должна знать Оргазм не обязателен: 7 фактов о минете, которые ты должна знать

Что нужно знать, чтобы минет был комфортным для тебя и приятным для партнера

VOICE
Николай Бобров: «Мне запросто может позвонить шеф из другого ресторана и попросить рецепт» Николай Бобров: «Мне запросто может позвонить шеф из другого ресторана и попросить рецепт»

Интервью с шефом Николаем Бобровым о поиске идей, конкуренции у поваров и жизни

Bones
Диагноз налицо Диагноз налицо

Состояние кожи, глаз и даже губ может многое рассказать о здоровье

Лиза
Дикие истории Дикие истории

Как накормить гостя не только вкусной, но и полезной едой?

Bones
Личный опыт: почему я решил стать психологом Личный опыт: почему я решил стать психологом

Мы поговорили со специалистом, который только начинает свои шаги в психологии

Psychologies
Восточные сказки, или Кто оставляет самые щедрые чаевые в отелях Восточные сказки, или Кто оставляет самые щедрые чаевые в отелях

Как шейх одной из стран Персидского залива всполошил весь Петербург

Правила жизни
Эти 20 привычек точно сделают тебя счастливее! Эти 20 привычек точно сделают тебя счастливее!

Мелочи, которые сделают твою жизнь ярче

VOICE
Роды в присутствии трехлетнего сына: почему история Регины Тодоренко вызвала яростные споры Роды в присутствии трехлетнего сына: почему история Регины Тодоренко вызвала яростные споры

Стоит ли посвящать в таинство рождения трехлетнего ребенка?

Psychologies
Новая жизнь дома Новая жизнь дома

Современная вилла, выдержанная в минималистском стиле

SALON-Interior
Как есть, чтобы похудеть: 4 главных микроэлемента здоровой диеты Как есть, чтобы похудеть: 4 главных микроэлемента здоровой диеты

Какие микроэлементы должны присутствовать в здоровой диете

Psychologies
Чтение выходного дня: родство рока и рейва и история танцевальной музыки. Фрагмент книги «Вспышка энергии» Саймона Рейнольдса Чтение выходного дня: родство рока и рейва и история танцевальной музыки. Фрагмент книги «Вспышка энергии» Саймона Рейнольдса

Отрывок из книги «Вспышка энергии» о рейве и истории музыкального поколения

Правила жизни
Почему твоя белая рубашка Почему твоя белая рубашка

Почему белая рубашка не смотрится на тебе и портит все аутфиты? Разбираемся!

VOICE
Как советский спутник наслал безумие на американские школы Как советский спутник наслал безумие на американские школы

Из-за Советского Союза у школьников в США настали очень трудные времена

Maxim
Физики сделали разделенный нейтронный интерферометр Физики сделали разделенный нейтронный интерферометр

Первый шаг на пути создания нейтронных интерферометров с длинными плечами

N+1
Укус Тарантула: как звезда может провалиться в черную дыру Укус Тарантула: как звезда может провалиться в черную дыру

Иногда Вселенная обходится без фейерверка

Forbes
Открыть в приложении