Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Человек, который по ночам сочиняет музыку Человек, который по ночам сочиняет музыку

Возможно ли больше 30 лет провести в шоу-бизнесе, не заигрывая с низким вкусом?

СНОБ
«Здесь птицы не поют»: в России нашли способ озеленить «мертвую» землю рядом с заводами «Здесь птицы не поют»: в России нашли способ озеленить «мертвую» землю рядом с заводами

Промышленные отходы помогут восстановить землю рядом с заводами

Вокруг света
Желаю всего самого лучшего Желаю всего самого лучшего

Что будет, если попробовать желать себе всего самого лучшего

Psychologies
После расставания: работа над ошибками После расставания: работа над ошибками

Как беречь то, что так дорого?

Psychologies
Найти фриланс в IT за три месяца Найти фриланс в IT за три месяца

Как зарабатывать больше денег в кризис

СНОБ
Я работаю, значит, я существую: почему мы одержимы продуктивностью Я работаю, значит, я существую: почему мы одержимы продуктивностью

Как справиться с зависимостью от продуктивности

VC.RU
К вам санитары, мистер Андерсон К вам санитары, мистер Андерсон

Писатель Александр Цыпкин о наших цифровых аватарах

СНОБ
Дима Зицер: «Сумасшедшее счастье, когда тебя любят не за оценки, а просто так» Дима Зицер: «Сумасшедшее счастье, когда тебя любят не за оценки, а просто так»

Стоит ли говорить с детьми как со взрослыми?

Psychologies
Анастасия Ефимова: «Если тратить свою энергию на обиды, тогда ее не останется больше ни на что» Анастасия Ефимова: «Если тратить свою энергию на обиды, тогда ее не останется больше ни на что»

Отельер Анастасия Ефимова – о гостеприимстве и духе времени

СНОБ
Гений генетики: как устроена биотех-компания, которая умеет редактировать ДНК Гений генетики: как устроена биотех-компания, которая умеет редактировать ДНК

Intellia Therapeutics: Нобелевская премия и финансовые проблемы

Forbes
Миролюбивая сила Миролюбивая сила

Именно Москва начала давить на Каир, принуждая его перейти к переговорам

Дилетант
«Медвежья болезнь»: как кишечник командует нашим поведением и настроением «Медвежья болезнь»: как кишечник командует нашим поведением и настроением

Оказывается, вовсе не мозг и не желудок требуют от нас купить шоколадку

Psychologies
Призвание: самозванец Призвание: самозванец

Люди выдают себя за других с целью выгоды, но он делал это ради искусства

Maxim
Как связаны эмпатия и тревога? Как связаны эмпатия и тревога?

У эмпатии есть и свои недостатки — мы ощущаем чувства так же остро, как свои

Psychologies
Грузовые корабли, ракеты и танки: 10 неожиданных вещей, созданных автомобильными брендами Грузовые корабли, ракеты и танки: 10 неожиданных вещей, созданных автомобильными брендами

Десять примеров неожиданной продукции от мастеров автопрома

ТехИнсайдер
Возвращение к истокам Возвращение к истокам

Как вырастить богатый урожай без «химии» в любом климате

Лиза
Морщины: почему появляются и как правильно с ними бороться Морщины: почему появляются и как правильно с ними бороться

Скорость старения кожи зависит не только от наследственности

РБК
Вот как защититься от укуса комаров: так насекомые больше не будут вам надоедать Вот как защититься от укуса комаров: так насекомые больше не будут вам надоедать

У нас есть для вас пара секретов, которые помогут избежать укусов комаров

ТехИнсайдер
Почему ПЗРК FIM-92 Stinger до сих пор нечем заменить Почему ПЗРК FIM-92 Stinger до сих пор нечем заменить

Имя «Стингер» стало нарицательным еще в афганскую войну

Maxim
СССР vs США: что показал эксперимент по сравнению образования 1958 года СССР vs США: что показал эксперимент по сравнению образования 1958 года

Много лет назад журналисты выяснили, где образование лучше: в США или в СССР

VOICE
Ученые открыли новый тип соединений в атмосфере — гидротриоксиды. Рассказываем, чем они опасны Ученые открыли новый тип соединений в атмосфере — гидротриоксиды. Рассказываем, чем они опасны

Гидротриоксиды — чрезвычайно реактивные и опасные вещества

Вокруг света
Первые и единственные: как забайкальское село не раз прославилось на всю Россию Первые и единственные: как забайкальское село не раз прославилось на всю Россию

Нерчинский Завод — обычная сибирская глубинка. Или нет?

Вокруг света
«Быть предпринимателем должно стать в России не менее почётно, чем быть главой госкомпании»: гендиректор Корпорации МСП Александр Исаевич о будущем бизнеса в России и о том, как он преодолеет новый кризис «Быть предпринимателем должно стать в России не менее почётно, чем быть главой госкомпании»: гендиректор Корпорации МСП Александр Исаевич о будущем бизнеса в России и о том, как он преодолеет новый кризис

Что такое Цифровая платформа МСП и зачем она нужна?

Inc.
Как понять, что вас пытается обольстить социопат Как понять, что вас пытается обольстить социопат

Как понять, что ваш потенциальный партнер — социопат?

Psychologies
Денис Чернов Денис Чернов

Ведущий (и первый!) режиссер культовых «Смешариков» показал премьеру года

Собака.ru
«Дело Финляндии — наше дело» «Дело Финляндии — наше дело»

В 1939–1940 годах театром военных действий снова стала Финляндия

Дилетант
Без макияжа и спеси: первые и трогательные снепы Хадид, Клосс, Шейк и других моделей Без макияжа и спеси: первые и трогательные снепы Хадид, Клосс, Шейк и других моделей

Как выглядели кумиры мира моды на самом старте их карьеры?

VOICE
Виктор Франкл: в чем смысл нашей жизни и зачем в ней страдания Виктор Франкл: в чем смысл нашей жизни и зачем в ней страдания

В чем же смысл жизни?

Вокруг света
«Заботиться о себе надо комплексно»: специалисты — о лечении кожи и волос «Заботиться о себе надо комплексно»: специалисты — о лечении кожи и волос

Специалисты красоты все чаще работают в команде с людьми смежных специальностей

РБК
Бари Алибасов: «Моя жизнь — сплошная провокация» Бари Алибасов: «Моя жизнь — сплошная провокация»

Выступая перед публикой, я играю роль, а с моей сутью знакомы лишь близкие люди

Караван историй
Открыть в приложении