Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

В Южной Африке опасная кобра попала в кабину пилота! Он спас всех пассажиров В Южной Африке опасная кобра попала в кабину пилота! Он спас всех пассажиров

Пилотов готовят к множеству сценариев, но точно не к борьбе со змеями в кабине

ТехИнсайдер
Отпуск по обмену Отпуск по обмену

Истории, в которых герои уже давно перестали на отдыхе пользоваться отелями

Новый очаг
Новое слово от зумеров: кого молодежь называет анками и что это значит Новое слово от зумеров: кого молодежь называет анками и что это значит

Что такое «анк» и кого так называет молодежь?

Psychologies
Какие популярные игры были запрещены в разных странах Какие популярные игры были запрещены в разных странах

Собрали 8 известных игр, которые были запрещены в ряде стран

Maxim
Мать и дитя: что делать, если твоя мама начала вести себя, как ребенок Мать и дитя: что делать, если твоя мама начала вести себя, как ребенок

Почему может произойти смена ролей в семье?

VOICE
Все о бронеавтомобиле «Тигр»: история создания и характеристики Все о бронеавтомобиле «Тигр»: история создания и характеристики

Что представляет бронеавтомобиль «Тигр»

РБК
7 главных причин разрушения отношений 7 главных причин разрушения отношений

Семь глубинных противоречий, приводящих к коллапсу отношений

Psychologies
8 грубейших ошибок во время глажки белья, которые допускают все без исключения: узнайте, что портит ваши вещи 8 грубейших ошибок во время глажки белья, которые допускают все без исключения: узнайте, что портит ваши вещи

Как не стоит гладить белье, если вы не хотите испортить ткань и свое настроение

ТехИнсайдер
Какие бывают огнетушители для автомобиля, какой лучше, и как его выбрать Какие бывают огнетушители для автомобиля, какой лучше, и как его выбрать

Все об автомобильных огнетушителях: выбор, требования ГИБДД, сравнение

РБК
Как избавиться от тревожных мыслей: 2 полезных упражнения Как избавиться от тревожных мыслей: 2 полезных упражнения

Техника медитации и практика наблюдателя для обуздания тревожных мыслей

Psychologies
Расстрел с конфискацией Расстрел с конфискацией

Как в СССР появились статьи об измене родине

Дилетант
Узнайте, почему водка не замерзает в морозилке! Блесните этим фактом в компании друзей Узнайте, почему водка не замерзает в морозилке! Блесните этим фактом в компании друзей

Замерзает ли алкоголь вообще?

ТехИнсайдер
9 фраз, которые сделают вас счастливее. Используйте их в разговорах ежедневно! 9 фраз, которые сделают вас счастливее. Используйте их в разговорах ежедневно!

Какие наши слова помогают другим людям понять, что их видят, слышат и любят

Psychologies
Психологические травмы: чем они могут быть полезны — беседа с психотерапевтом Психологические травмы: чем они могут быть полезны — беседа с психотерапевтом

Что такое травма? Чем она опасна как для нас, так и для окружающих?

Psychologies
Изобрел напиток на века, но не получил ни копейки: как химик Джозеф Пристли случайно создал газированную воду Изобрел напиток на века, но не получил ни копейки: как химик Джозеф Пристли случайно создал газированную воду

Как появилась газировка — напиток, без которого многие не представляют жизнь

ТехИнсайдер
Не вступать в старость без любви: почему возраст пугает и как научиться его принимать Не вступать в старость без любви: почему возраст пугает и как научиться его принимать

Глава из книги «Возраст: Инструкция по применению»

Forbes
Грянет майский гром Грянет майский гром

Мы встретились с одной из главных звезд проекта «Майор Гром» Сергеем Горошко

Men Today
Следите за рукой Следите за рукой

Завораживающий сюрреализм: история офтальмолога, ставшего модным художником

RR Люкс.Личности.Бизнес.
Необратимость: как вернуться к себе, пережив насилие Необратимость: как вернуться к себе, пережив насилие

Что делать, чтобы найти в себе силы жить дальше после пережитого насилия?

Psychologies
Почему в самолете при взлете и посадке запрещено опускать спинки кресел Почему в самолете при взлете и посадке запрещено опускать спинки кресел

Почему мы не можем приземляться и взлетать с комфортом?

ТехИнсайдер
Без бензина. Тест-драйв электромобиля Ora 03 Без бензина. Тест-драйв электромобиля Ora 03

Комфортно ли пользоваться электромобилем в городе в 2024 году?

СНОБ
Скоро потеплеет: 10-минутный лайфхак, как почистить вентилятор и подготовить его к работе Скоро потеплеет: 10-минутный лайфхак, как почистить вентилятор и подготовить его к работе

Как быстро и качественно почистить внтилятор, не разбирая его

ТехИнсайдер
Выкидыш, муж-тиран и страшная болезнь: трагедии «Моей прекрасной няни» Анастасии Заворотнюк Выкидыш, муж-тиран и страшная болезнь: трагедии «Моей прекрасной няни» Анастасии Заворотнюк

В жизни Анастасии Заворотнюк хватало поводов для слез

VOICE
7 фраз, с помощью которых легко завести друзей в любом возрасте 7 фраз, с помощью которых легко завести друзей в любом возрасте

Друзей можно завести и в солидном возрасте: помогут эти фразы

Maxim
Ключ к гармонии: 4 потребности и как их закрыть Ключ к гармонии: 4 потребности и как их закрыть

Как потребности более высокого уровня влияют на нашу жизнь?

Psychologies
К коже нежно К коже нежно

Какими будут последствия «уколов красоты» спустя годы?

Лиза
8 мужских ролей, доставшихся актрисам 8 мужских ролей, доставшихся актрисам

Боевики, фантастика и триллеры — мужская вотчина, в которую ворвались женщины

Maxim
Удовольствие или проблема. Что такое нимфомания и как ее определить Удовольствие или проблема. Что такое нимфомания и как ее определить

Нимфомания – понятие, довольно часто встречающееся в разговорах о сексуальности

Лиза
Двое российских миллиардеров из списка Forbes создают СП в области кибербезопасности Двое российских миллиардеров из списка Forbes создают СП в области кибербезопасности

Владимир Евтушенков и Юрий Максимов создают СП в области кибербезопасности

Forbes
Восемь простых способов улучшить сон Восемь простых способов улучшить сон

Эти несложные действия помогут справиться с бессонницей и начать высыпаться

РБК
Открыть в приложении