Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Переходный период Переходный период

Философ Александр Нечаев: как получилось, что миропорядок пришел в беспорядок

Esquire
Что смотреть в выходные: 6 новых фильмов, которые вы могли пропустить Что смотреть в выходные: 6 новых фильмов, которые вы могли пропустить

Собрали шесть ярких фильмов, которые определенно стоят потраченного времени

Правила жизни
Так держать! Так держать!

Способы исправления осанки, которые на самом деле только вредят спине

Лиза
Андрей Журавлев: Динозавры — это ведь нечто среднее между медициной и паровозами Андрей Журавлев: Динозавры — это ведь нечто среднее между медициной и паровозами

Андрей Журавлев: чем питались мегалодоны и возможно ли сегодня оживить мамонта

СНОБ
9 продуктов, снижающих уровень холестерина. Советы экспертов 9 продуктов, снижающих уровень холестерина. Советы экспертов

Как правильно составить рацион при высоком уровне холестерина?

РБК
4 принципа, которые делают финнов счастливыми (и помогут вам!) 4 принципа, которые делают финнов счастливыми (и помогут вам!)

Поговорки, помогающие понять, почему финны — самый счастливый народ в мире

Psychologies
Запах белых ночей. Кем был создатель духов Chanel №5 Эрнест Бо Запах белых ночей. Кем был создатель духов Chanel №5 Эрнест Бо

Каким человеком был парфюмер Эрнест Бо?

СНОБ
Мой дом — моя крепость: как избавиться от аллергенов в квартире Мой дом — моя крепость: как избавиться от аллергенов в квартире

Как в доме защититься от аллергенов?

ТехИнсайдер
«Муж выбирает блюда на моем сайте, а я их готовлю»: девушка поделилась лайфхаком, как упростить совместный быт «Муж выбирает блюда на моем сайте, а я их готовлю»: девушка поделилась лайфхаком, как упростить совместный быт

Поможет обустроить совместный быт: несколько советов и интересный лайфхак

Psychologies
Химики перепаяли коллоидный раствор циклодекстрина в нужную форму Химики перепаяли коллоидный раствор циклодекстрина в нужную форму

Как коллоидный раствор циклодекстрина ведет себя на границе раздела вода-толуол

N+1
Майк Омер: «Странные игры». Настоящие преступления в игрушечном домике Майк Омер: «Странные игры». Настоящие преступления в игрушечном домике

Глава из триллера Майка Омера «Странные игры» о тайнах психики

СНОБ
Новые археологические открытия и альтернативные пути развития человечества Новые археологические открытия и альтернативные пути развития человечества

Ряд археологических открытий, не вписывающихся в привычную со школы картину

Наука и техника
Лизнуть яйцо за миллион: почему жители Урала готовы рискнуть здоровьем ради денег Лизнуть яйцо за миллион: почему жители Урала готовы рискнуть здоровьем ради денег

Почему люди считают деньги приоритетнее своего здоровья?

Psychologies
Суда пришли Суда пришли

Где бросить якорь нынешним летом? Держите курс на Восток

RR Люкс.Личности.Бизнес.
Как определить забитый катализатор не снимая его. Признаки Как определить забитый катализатор не снимая его. Признаки

Все о проверке катализатора: признаки неисправности и способы ремонта

РБК
Шекспир в окружении Шекспиров Шекспир в окружении Шекспиров

Кто был автором пьес, что традиционно приписываются актеру Уильяму Шекспиру?

Знание – сила
Осушение превратило торфяные леса Индонезии в источник углекислого газа Осушение превратило торфяные леса Индонезии в источник углекислого газа

Дренаж повлиял на леса Индонезии даже хуже, чем регулярные природные засухи

N+1
6 фраз, которые взрослые дети мечтают услышать от своих родителей 6 фраз, которые взрослые дети мечтают услышать от своих родителей

Шесть важных фраз, которые родители могут (и должны) сказать повзрослевшим детям

Psychologies
Одному боту известно: как простейший софт помогает абитуриентам поступить Одному боту известно: как простейший софт помогает абитуриентам поступить

Как талантливые абитуриенты перегружают отечественные вузы летом?

Forbes
Растительное мясо полезно для планеты, но как насчет здоровья людей? Узнайте ответ экспертов! Растительное мясо полезно для планеты, но как насчет здоровья людей? Узнайте ответ экспертов!

Польза от растительного мяса ясна, но что насчет вреда?

ТехИнсайдер
Ментальное здоровье домашних животных: как справиться с расстройством пищевого поведения Ментальное здоровье домашних животных: как справиться с расстройством пищевого поведения

Как бороться с извращенным аппетитом у питомцев?

Psychologies
Почему косатки атакуют лодки по всему миру — нашлось объяснение Почему косатки атакуют лодки по всему миру — нашлось объяснение

Оказалось, что юные косатки нападают на лодки просто ради забавы

Maxim
Ген памяти Ген памяти

Какие альтернативные накопители предлагают на рынке хранения данных

РБК
Стриптизерша в Нью-Йорке, протесты в Иране и устрашающая Деми Мур: лучшие фильмы Каннского фестиваля — 2024 Стриптизерша в Нью-Йорке, протесты в Иране и устрашающая Деми Мур: лучшие фильмы Каннского фестиваля — 2024

Фильмы Каннского фестиваля 2024, которые нужно посмотреть

Правила жизни
Символы статуса: 5 вещей, которые почти невозможно получить, даже если вы баснословно богаты Символы статуса: 5 вещей, которые почти невозможно получить, даже если вы баснословно богаты

Кое-что в этой жизни так просто не покупается (и речь тут не о сантиментах)

Maxim
Бег в колесе снизил симптомы ПТСР у мышей Бег в колесе снизил симптомы ПТСР у мышей

Как физическая активность помогла мышам ослабить симптомы ПТСР

N+1
Виртуальные дали Виртуальные дали

Нейросети врываются в мир кино для взрослых и позволяют нарисовать любой сюжет

Men Today
Мог исчезнуть, но выстоял и стал российским: 5 фактов о Lada Largus Мог исчезнуть, но выстоял и стал российским: 5 фактов о Lada Largus

Lada Largus: в чем ижевский универсал оказался лучше тольяттинского

РБК
Серверный ветер: как производительные вычислительные решения меняют лицо рынка Серверный ветер: как производительные вычислительные решения меняют лицо рынка

Как устроен рынок высокопроизводительных вычислительных решений

Forbes
Кубок «Америки»: мифы, времена и люди Кубок «Америки»: мифы, времена и люди

Как и благодаря кому Кубок «Америки» обрел свой уникальный статус?

Y Magazine
Открыть в приложении