Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Павел Дуров Павел Дуров

Правила жизни Павла Дурова

Esquire
7 лучших ролей Любови Аксеновой 7 лучших ролей Любови Аксеновой

Любовь Аксенова: девушка супергероя, избалованная дочь и сбежавшая невеста

Maxim
Ребёнок здесь я Ребёнок здесь я

Взрослые дети, инфантильные родители

Новый очаг
Как вежливо отказать человеку? Узнайте простые советы, чтобы никого не обидеть! Как вежливо отказать человеку? Узнайте простые советы, чтобы никого не обидеть!

Как и любой новый навык, умение говорить «нет» требует практики

ТехИнсайдер
Прощай, молодость: что такое кризис среднего возраста и как с ним справиться Прощай, молодость: что такое кризис среднего возраста и как с ним справиться

Как проявляется кризис среднего возраста и что поможет его пережить

Forbes
Лодка для моряков Лодка для моряков

Откуда такой большой интерес к траулерной яхте Grand Banks 54?

Y Magazine
На полюс из стратосферы На полюс из стратосферы

Каково это — десантироваться с парашютом на Северный полюс с высоты 10,5 км?

ТехИнсайдер
10 цитат Алеси Кафельниковой о важности психотерапии и умении принимать себя 10 цитат Алеси Кафельниковой о важности психотерапии и умении принимать себя

Цитаты Алеси Кафельниковой — символа российского гламура нового поколения

Psychologies
Как улучшить память: 10 проверенных методик Как улучшить память: 10 проверенных методик

Как повысить уровень интеллекта и сохранить молодость мозга?

ТехИнсайдер
«Переедание — это ваша попытка заставить свое тело не чувствовать» «Переедание — это ваша попытка заставить свое тело не чувствовать»

Что такое переедание, о чем оно нам сигнализирует, и как научиться не переедать?

Psychologies
Ахматова-изменница и Гумилев-мальчишка. Как жила главная пара Серебряного века Ахматова-изменница и Гумилев-мальчишка. Как жила главная пара Серебряного века

Абьюз, измены и рукоприкладство: как жили Гумилев с Ахматовой

СНОБ
Альтруизм и эгоизм: когда полезно думать о других, а когда — о себе Альтруизм и эгоизм: когда полезно думать о других, а когда — о себе

Что же важнее — наши собственные желания или потребности другого?

Psychologies
Эта диета «убивает» вас: 4 типа продуктов, которые ведут к диабету Эта диета «убивает» вас: 4 типа продуктов, которые ведут к диабету

Ученые и врачи уже давно знают, какая диета повышает риски развития диабета

ТехИнсайдер
Охрана красных колобусов принесет неожиданно много пользы африканским джунглям Охрана красных колобусов принесет неожиданно много пользы африканским джунглям

Как по состоянию популяций красных колобусов можно судить о здоровье экосистемы

N+1
Что такое «Пифагоровы штаны» и как египтяне строили пирамиды: 6 вопросов о геометрии, которые мучили вас со школы Что такое «Пифагоровы штаны» и как египтяне строили пирамиды: 6 вопросов о геометрии, которые мучили вас со школы

Об удивительных примерах использования геометрических знаний

ТехИнсайдер
Как узнать свою группу крови: какие бывают, совместимость Как узнать свою группу крови: какие бывают, совместимость

Что такое группа крови, как ее узнать и чем важен резус-фактор?

РБК
«Все, что было его, – нынче ваше» «Все, что было его, – нынче ваше»

Место творчества Булата Окуджавы в современной литературе и литературоведении

Знание – сила
Лимонад за подводные лодки: как Pepsi выкупала у СССР военные корабли Лимонад за подводные лодки: как Pepsi выкупала у СССР военные корабли

Pepsi была крупнейшей морской военной силой в мире — как так вышло?

ТехИнсайдер
Актер и гражданин Актер и гражданин

Как Жан Габен воплотил дух Франции

Weekend
5 фильмов, которые помогут лучше понять «Жить своей жизнью» Годара 5 фильмов, которые помогут лучше понять «Жить своей жизнью» Годара

Какие режиссеры повлияли на творчество Жана-Люка Годара

СНОБ
Мария Михалкова-Кончаловская: «Каждый проходит через отречение, чтобы потом понять, насколько это ценный дар — семья» Мария Михалкова-Кончаловская: «Каждый проходит через отречение, чтобы потом понять, насколько это ценный дар — семья»

Неважно, кто твои предки. Параллели прослеживаются ведь в любой семье

Коллекция. Караван историй
Знай свой двигатель: как отличить компрессор от турбонаддува Знай свой двигатель: как отличить компрессор от турбонаддува

Что такое компрессор? Что такое турбонаддув? Что из них лучше?

ТехИнсайдер
Исследование: мужчины, как правило, выбирают себе друзей с другим вкусом на девушек Исследование: мужчины, как правило, выбирают себе друзей с другим вкусом на девушек

Мужчины стараются дружить с теми, у кого вкус на девушек не совпадает с их

ТехИнсайдер
Чем опасны лидеры с уязвимым эго: 7 негативных особенностей Чем опасны лидеры с уязвимым эго: 7 негативных особенностей

Как даже хорошо скрываемая уязвимость мешает принимать верные решения

Psychologies
«Не слишком ли много мы думаем?»: как правильно потреблять и перерабатывать информацию «Не слишком ли много мы думаем?»: как правильно потреблять и перерабатывать информацию

Похоже, мозг не справляется с тем валом информации, который обрушивается на нас

Psychologies
The Doors для сглаживания танинов и Дебюсси для усиления свежести. Как музыка меняет вкус вина The Doors для сглаживания танинов и Дебюсси для усиления свежести. Как музыка меняет вкус вина

Почему сомелье предпочитают проводить дегустации в тишине?

СНОБ
«Любуйтесь, мамаша, вот он, ребенок ваш»: как женщины переживают акушерское насилие «Любуйтесь, мамаша, вот он, ребенок ваш»: как женщины переживают акушерское насилие

Книга казахской писательницы Алтынай Султан об опыте беременности

Forbes
Как открыть карту в Казахстане в 2024 году Как открыть карту в Казахстане в 2024 году

Как оформить банковскую карту Казахстана и в каком банке это сделать проще всего

VC.RU
А ведьмы кто: краткая история инквизиции между мифом и реальностью А ведьмы кто: краткая история инквизиции между мифом и реальностью

Что из историй об инквизиторах имеет под собой реальные основания, а что выдумка

Правила жизни
Как страсть и любовь помогают в борьбе за выживание Как страсть и любовь помогают в борьбе за выживание

Ученые раскрыли загадку супружеской верности мышей

СНОБ
Открыть в приложении