Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Звук тишины Звук тишины

Шесть простых стратегий для успокоения ума

Yoga Journal
Директор московской «Ночлежки» Дарья Байбакова: «На чувстве вины далеко не уедешь» Директор московской «Ночлежки» Дарья Байбакова: «На чувстве вины далеко не уедешь»

Как социальный проект «Ночлежка» стал бизнесом

СНОБ
Синтетический футуризм Синтетический футуризм

Эксперимент редакции с нейросетью, «вобравшей» в себя Сорокина и Пелевина

СНОБ
Как отношение к еде показывает отношение к сексу? Как отношение к еде показывает отношение к сексу?

Еда и секс — разные, но жизненно важные физиологические потребности

Psychologies
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Настасья Кербенген. Голубая кровь Настасья Кербенген. Голубая кровь

Настасья Кербенген никогда не думала о том, чтобы стать актрисой

Коллекция. Караван историй
Найти фриланс в IT за три месяца Найти фриланс в IT за три месяца

Как зарабатывать больше денег в кризис

СНОБ
Другая история. Зачем экономист из Орска переехал в старинный Плес Другая история. Зачем экономист из Орска переехал в старинный Плес

В чем ценность естественного облика малых городов

СНОБ
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Эко-логично Эко-логично

Как сделать дом безопасным для природы и удобным для вас

Новый очаг
Новая загадка старого шедевра Новая загадка старого шедевра

Даже через полтора века открываются всё новые тайны картины «Неравный брак»

Дилетант
Из-за изменения климата гиеновидные собаки отложили размножение на 22 дня за 30 лет Из-за изменения климата гиеновидные собаки отложили размножение на 22 дня за 30 лет

Из-за изменения климата гиеновидные собаки оказались в фенологической ловушке

N+1
Перерасти Землю Перерасти Землю

Заселить Луну и Марс – смелая мечта или реальная перспектива?

Вокруг света
Экспериментатор, мелодист и романтик. Полу Маккартни — 80 Экспериментатор, мелодист и романтик. Полу Маккартни — 80

Разбираемся в музыкальной биографии Пола Маккартни

Правила жизни
Уют французской глубинки: как превратить свой дачный участок в сад в стиле прованс Уют французской глубинки: как превратить свой дачный участок в сад в стиле прованс

Путешествуем вокруг света, не покидая приусадебного участка

Вокруг света
Модифицировать риск — благородное дело Модифицировать риск — благородное дело

Нездоровый образ жизни — основная причина большого количества заболеваний

Наука
Увенчанный славой: 9 полезных свойств лаврового листа Увенчанный славой: 9 полезных свойств лаврового листа

Это уникальное растение даже в сухом виде сохраняет свои лучшие качества

Вокруг света
Вне политики, выше споров, без комментариев: Елизавета II отмечает 70 лет на престоле Вне политики, выше споров, без комментариев: Елизавета II отмечает 70 лет на престоле

Как британская королева сохранила статус живой легенды?

Forbes
Баловали, но держали в строгости: как воспитывали будущую королеву Елизавету II Баловали, но держали в строгости: как воспитывали будущую королеву Елизавету II

Детство королевы Елизаветы II было не таким, как у ее сверстников

Вокруг света
Из истории библиотечных каталогов Из истории библиотечных каталогов

Какими были первые библиотечные каталоги?

Наука и жизнь
Топ-15 инноваций, которые изменят мир микроэлектроники Топ-15 инноваций, которые изменят мир микроэлектроники

Топ-15 инноваций, которые изменят мир микроэлектроники

РБК
Очень московское собрание: как коллекция братьев Морозовых долго возвращалась домой Очень московское собрание: как коллекция братьев Морозовых долго возвращалась домой

Многолетняя эпопея по объединению собрания братьев Морозовых

Forbes
Летний режим Летний режим

Техника летней безопасности

Лиза
Ментоловые слезы. О фильме «Главная роль» Ментоловые слезы. О фильме «Главная роль»

«Главная роль» — фильм аргентинских режиссеров Мариано Кона и Гастона Дюпра

СНОБ
Я ок, и ты ок: что такое экология общения? Я ок, и ты ок: что такое экология общения?

Относиться друг к другу экологично – что это значит?

Новый очаг
10 способов снять стресс на работе 10 способов снять стресс на работе

Десять рекомендаций, как успокоиться и снять стресс на работе

Psychologies
Как распознать мошенников в стоматологии Как распознать мошенников в стоматологии

Возможно, в клинике, к которой ты присматриваешься, не стоит лечить зубы

Лиза
Шахматная доска на полу и стене Шахматная доска на полу и стене

На какие дизайнерские приемы стоит обратить внимание, если ты затеяла ремонт

Лиза
Великий музыкальный Великий музыкальный

«Эннио. Маэстро»: фильм о главном композиторе в истории кино

Weekend
Изобретение советских физиков может обеспечить энергией весь мир на миллионы лет Изобретение советских физиков может обеспечить энергией весь мир на миллионы лет

Неисчерпаемая энергия у нас прямо под ногами, только непонятно, как ее достать

ТехИнсайдер
Открыть в приложении