Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
История Нэнси Брофи: за что автору эссе «Как убить своего мужа» дали пожизненный срок История Нэнси Брофи: за что автору эссе «Как убить своего мужа» дали пожизненный срок

Судьба писательницы Нэнси Брофи вполне может стать основой для сериала

Forbes
Мозг, память и чтение: как стать умнее и знать больше других Мозг, память и чтение: как стать умнее и знать больше других

Ученые сделали вывод, что объем памяти мозга человека составляет 1 петабайт

Популярная механика
Как первая леди Бетти Форд боролась с сексизмом, стигматизацией рака и алкоголизмом Как первая леди Бетти Форд боролась с сексизмом, стигматизацией рака и алкоголизмом

Рассказываем о судьбе женщины, которая поменяла правила игры в Белом доме

Forbes
Найти фриланс в IT за три месяца Найти фриланс в IT за три месяца

Как зарабатывать больше денег в кризис

СНОБ
Ментоловые слезы. О фильме «Главная роль» Ментоловые слезы. О фильме «Главная роль»

«Главная роль» — фильм аргентинских режиссеров Мариано Кона и Гастона Дюпра

СНОБ
Синтетический футуризм Синтетический футуризм

Эксперимент редакции с нейросетью, «вобравшей» в себя Сорокина и Пелевина

СНОБ
На что похожа наркомания у животных: зверский кайф На что похожа наркомания у животных: зверский кайф

Даже животные ищут и находят в природе разрушительные удовольствия

ТехИнсайдер
Национальная бритва Национальная бритва

Как во Франции смертная казнь уровняла все сословия и преступления

Дилетант
Что такое иммобилайзер и есть ли он в моей машине Что такое иммобилайзер и есть ли он в моей машине

Разбираемся, что такое иммобилайзер, каким бывает и стоит ли его отключать

РБК
Будем цифросексуалами? Будем цифросексуалами?

Как изменятся наши отношения?

Psychologies
Одной левой: Пол Маккартни и еще 9 знаменитых левшей Одной левой: Пол Маккартни и еще 9 знаменитых левшей

Занимательные факты о левшах

Вокруг света
Вне политики, выше споров, без комментариев: Елизавета II отмечает 70 лет на престоле Вне политики, выше споров, без комментариев: Елизавета II отмечает 70 лет на престоле

Как британская королева сохранила статус живой легенды?

Forbes
5 редких и до смешного простых образов Джейн Биркин, которые мы повторим этим летом 5 редких и до смешного простых образов Джейн Биркин, которые мы повторим этим летом

Джейн Биркин в ближайшие десятилетия не потеряет свой титул модной иконы

VOICE
Почему стиральная машина плохо отжимает: проблемы и решения Почему стиральная машина плохо отжимает: проблемы и решения

Проблемы с отжимом можно решить самостоятельно. Рассказываем, как

CHIP
Праздник от нас уходит. Вспоминаем историю Coca-Cola, свернувшую бизнес в России Праздник от нас уходит. Вспоминаем историю Coca-Cola, свернувшую бизнес в России

Почему Coca-Cola стала символом свободы и прогресса

Inc.
Австралопитекам из Колыбели человечества оказалось 3,4–3,7 миллиона лет Австралопитекам из Колыбели человечества оказалось 3,4–3,7 миллиона лет

Археологи пересмотрели датировку находок из Стеркфонтейна

N+1
«Дело Финляндии — наше дело» «Дело Финляндии — наше дело»

В 1939–1940 годах театром военных действий снова стала Финляндия

Дилетант
Изжога, диабет и еще 4 проблемы со здоровьем, превращающие пиво в яд Изжога, диабет и еще 4 проблемы со здоровьем, превращающие пиво в яд

6 проблем со здоровьем, при которых стоит отказаться от пива

Psychologies
«Не хлебом единым»: как быстро приготовить вкусный сэндвич «Не хлебом единым»: как быстро приготовить вкусный сэндвич

Наш сегодняшний кулинарный герой — сэндвич

Psychologies
Почему хладнокровные животные живут так долго и стареют так медленно: самое крупное исследование за всю историю Почему хладнокровные животные живут так долго и стареют так медленно: самое крупное исследование за всю историю

Почему хладнокровные животные имеют такую ​​большую продолжительность жизни?

ТехИнсайдер
История советского контрснайпера: как школьный завхоз уложил 422 фашиста История советского контрснайпера: как школьный завхоз уложил 422 фашиста

Василий Теркин действительно существовал и был одним из лучших контрснайперов

ТехИнсайдер
Одна вокруг света: горный картофель и сезон дождей Одна вокруг света: горный картофель и сезон дождей

174-я серия о кругосветном путешествии москвички Ирины Сидоренко: северные Анды

Forbes
Хороший босс в плохие времена. Как управлять людьми, когда в воздухе витает страх Хороший босс в плохие времена. Как управлять людьми, когда в воздухе витает страх

Отрывок из сборника статей «Управление во время кризиса»

Inc.
Мифозои Китая: какие фантастические твари пришли к нам из страны Поднебесной Мифозои Китая: какие фантастические твари пришли к нам из страны Поднебесной

Кто такие мифозои?

Вокруг света
Резня лейтенанта Келли Резня лейтенанта Келли

Массовое убийство в Сонгми: одна из трагедий войны во Вьетнаме

Дилетант
«Чучело» в 2022 году: 3 причины посмотреть «Невидимый мир» «Чучело» в 2022 году: 3 причины посмотреть «Невидимый мир»

Чем примечателен «Невидимый мир» Лауры Вандель?

Psychologies
Люди из стран третьего мира рассказали, что привело их в шок в развитых странах Люди из стран третьего мира рассказали, что привело их в шок в развитых странах

Что больше всего удивляет и шокирует тех, кто переехал в развитые государства?

VOICE
Мир после запятой Мир после запятой

Как метрология помогает наукам развиваться, а людям объединяться

Наука и жизнь
Физики превратили пару кристаллов времени в искусственный кубит Физики превратили пару кристаллов времени в искусственный кубит

Кристаллы времени превратили в искусственный кубит с эффектом обратной связи

N+1
Открыть в приложении