Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ингибиторы янус-киназы не повысиил риск рака при лечении ревматоидного артрита Ингибиторы янус-киназы не повысиил риск рака при лечении ревматоидного артрита

Ученые выяснили, что терапия артрита ингибиторами янус-киназы не провоцирует рак

N+1
Что делать, чтобы жить счастливее: идеи из книги «Мозг и его потребности» Что делать, чтобы жить счастливее: идеи из книги «Мозг и его потребности»

Как нейромедиаторы влияют на качество жизни?

РБК
Зарядки, SIM-карты и кнопки: какие технологии в гаджетах могут исчезнуть уже через пару лет Зарядки, SIM-карты и кнопки: какие технологии в гаджетах могут исчезнуть уже через пару лет

О том, какие технологии в гаджетах имеют тенденцию к полному исчезновению

ТехИнсайдер
8 вопросов, чтобы понять, готовы ли вы изменить свою жизнь 8 вопросов, чтобы понять, готовы ли вы изменить свою жизнь

Как понять, что вы готовы начать новую жизнь? Подскажут эти вопросы к себе

Psychologies
Можно ли плавать в Apple Watch: разбираемся в нюансах умных часов компании Можно ли плавать в Apple Watch: разбираемся в нюансах умных часов компании

Можно ли плавать в Apple Watch? Давайте разбираться. Нюансов здесь хватает

ТехИнсайдер
Бешеные скорости, безумные деньги и крутые копы: все, что вы хотели знать о немецких автобанах Бешеные скорости, безумные деньги и крутые копы: все, что вы хотели знать о немецких автобанах

Немецкие автобаны: может быть, не все правда, что о них толкуют?

ТехИнсайдер
«Кладбище самолетов»: какой у лайнеров срок годности и что с ними происходит, когда они больше не могут летать «Кладбище самолетов»: какой у лайнеров срок годности и что с ними происходит, когда они больше не могут летать

У всего в этом мире есть срок годности, даже у самолетов. Но где их «кладбища»?

ТехИнсайдер
«Я из Московской газовой службы»: история первого советского маньяка Владимира Ионесяна «Я из Московской газовой службы»: история первого советского маньяка Владимира Ионесяна

«Сейчас я очень ужасный человек, а в прошлом — очень хороший человек»

ТехИнсайдер
А ведьмы кто: краткая история инквизиции между мифом и реальностью А ведьмы кто: краткая история инквизиции между мифом и реальностью

Что из историй об инквизиторах имеет под собой реальные основания, а что выдумка

Правила жизни
Все дорожки ведут в Рим. Каким получился «Мегалополис» Фрэнсиса Форда Копполы? Все дорожки ведут в Рим. Каким получился «Мегалополис» Фрэнсиса Форда Копполы?

«Мегалополис» — многострадальный фильм, идею которого режиссер вынашивал с 1977

Правила жизни
Почему концепции критической интернет-инфраструктуры нет места в будущем Почему концепции критической интернет-инфраструктуры нет места в будущем

Куда сместился ландшафт рисков, чего может стоить перерезанный кабель?

Forbes
«Папа Урбан II на площади Клермона проповедует первый крестовый поход» «Папа Урбан II на площади Клермона проповедует первый крестовый поход»

Картина Франческо Айеца, на которой запечатлено начало крестовых походов

Дилетант
Зигзаг удачи Зигзаг удачи

Три личные и искренние истории поисков и открытий себя

Psychologies
Укоренившаяся ассоциация: почему именно гвоздики — траурные цветы? Укоренившаяся ассоциация: почему именно гвоздики — траурные цветы?

Почему именно гвоздики получили такую мрачную ассоциацию?

ТехИнсайдер
От ларьков поворот! От ларьков поворот!

Почему сотрудникам ГУЛАГа было строго запрещено пользоваться лагерными ларьками?

Дилетант
Кулинарные лайфхаки: чем можно заменить сливочное масло в выпечке Кулинарные лайфхаки: чем можно заменить сливочное масло в выпечке

Масло в выпечке — чуть не один из главных ингредиентов. Но не значит незаменимый

ТехИнсайдер
Проверка жениха и невесты на прочность: 7 необычных свадебных ритуалов в разных странах Проверка жениха и невесты на прочность: 7 необычных свадебных ритуалов в разных странах

Сколько в мире культур — столько и вариантов справить свадьбу

ТехИнсайдер
«Хитрости»: сериал о том, как уживаются друг с другом женщины разных поколений «Хитрости»: сериал о том, как уживаются друг с другом женщины разных поколений

«Хитрости»: сериал, рассказывающий о легенде стендапа Деборе Вэнс

Forbes
7 стратегий, чтобы пережить тяжелый день 7 стратегий, чтобы пережить тяжелый день

Техники поведения в трудной ситуации, которую нельзя изменить прямо сейчас

Psychologies
Что такое цукэмэн и как его есть Что такое цукэмэн и как его есть

Как готовят японское блюдо цукэмэн, чем оно похоже на рамен и как его едят

СНОБ
Стена недоверия: почему интернет скоро перестанет быть глобальным Стена недоверия: почему интернет скоро перестанет быть глобальным

Почему всемирная сеть начала трансформироваться в геополитические кластеры

Forbes
9 героев минувшего сезона РПЛ: от лучшего игрока — до защитника «Зенита» 9 героев минувшего сезона РПЛ: от лучшего игрока — до защитника «Зенита»

Итоги сезона-2023/24 Российской премьер-лиги: кто и за что получил премии

Forbes
Первая атомная катастрофа СССР: авария на химкомбинате «Маяк» Первая атомная катастрофа СССР: авария на химкомбинате «Маяк»

Почему произошла первая атомная катастрофа СССР и как ликвидировали это ЧП

ТехИнсайдер
Даниил Медведев — Forbes: «Ошибки — это часть спорта» Даниил Медведев — Forbes: «Ошибки — это часть спорта»

Даниил Медведев о его любви к футболу, Евро-2024, а также о киберспорте

Forbes
«Дух соревнования вреден для торгового счета» «Дух соревнования вреден для торгового счета»

RuMS о своей победе, допущенных ошибках и трейдерском пути

Монокль
Наполеон ненастоящий Наполеон ненастоящий

Новый «Наполеон»: богато снятая сказка, имеющая мало общего с реальностью

Дилетант
Маржа на горошинах Маржа на горошинах

Аграрии переводят посевы нерентабельных зерновых на альтернативные культуры

Агроинвестор
60% считают, что повседневные хлопоты могут помочь поддерживать себя в форме 60% считают, что повседневные хлопоты могут помочь поддерживать себя в форме

Можно ли выполнять норму физических упражнений, не ходя в зал?

ТехИнсайдер
Рынок в $33 млрд: как киберспорт перестал быть нишевым и начал завоевывать Россию Рынок в $33 млрд: как киберспорт перестал быть нишевым и начал завоевывать Россию

К 2024 году киберспорт стал бизнесом стоимостью в миллиарды долларов.

Forbes
15 задач по уборке, которые можно выполнить за 3 минуты, если знать нужные хаки 15 задач по уборке, которые можно выполнить за 3 минуты, если знать нужные хаки

Слышала про домохозяек, которые могут навести порядок, пока стираются простыни?

VOICE
Открыть в приложении