Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Чайные пакетики рассказали о скорости разложения почвенного органического вещества в России Чайные пакетики рассказали о скорости разложения почвенного органического вещества в России

Зеленый чай в почве разлагается вдвое быстрее ройбуша

N+1
Вред от чипсов и газировки оказался преувеличенным: новое исследование ученых Вред от чипсов и газировки оказался преувеличенным: новое исследование ученых

Неужели ультрапереработанные продукты безопасны для нашего здоровья?

Psychologies
Как сделать занятия бегом эффективнее с помощью смарт-часов Как сделать занятия бегом эффективнее с помощью смарт-часов

Как смарт-часы могут повысить вашу мотивацию в занятиях бегом?

CHIP
Почему в самолете при взлете и посадке запрещено опускать спинки кресел Почему в самолете при взлете и посадке запрещено опускать спинки кресел

Почему мы не можем приземляться и взлетать с комфортом?

ТехИнсайдер
Многие тренеры запрещают секс. А как интим влияет на спортивные результаты? Многие тренеры запрещают секс. А как интим влияет на спортивные результаты?

Вреден ли секс перед футбольными матчами и вообще перед спортом?

Maxim
Коллаж всего Коллаж всего

Иван Горшков: большой визуальный взрыв

Weekend
Как вежливо отказать человеку? Узнайте простые советы, чтобы никого не обидеть! Как вежливо отказать человеку? Узнайте простые советы, чтобы никого не обидеть!

Как и любой новый навык, умение говорить «нет» требует практики

ТехИнсайдер
Мировая дюжина. 12 часовых марок от Глазго до Сингапура, в обход Швейцарии Мировая дюжина. 12 часовых марок от Глазго до Сингапура, в обход Швейцарии

12 интересных часовых марок откуда угодно, но не из Швейцарии

СНОБ
Как добиться повышения на работе? Ни в коем случае не совершайте эти ошибки Как добиться повышения на работе? Ни в коем случае не совершайте эти ошибки

Как же показать себя во всей красе и добиться признания начальства?

ТехИнсайдер
Прагматичный человек Прагматичный человек

Выясняем, кто такой прагматичный человек на примерах из жизни

Лиза
Можно ли подружить кошку с собакой? Рассказываем, как правильно это сделать Можно ли подружить кошку с собакой? Рассказываем, как правильно это сделать

Неужели правда, что кот и пес — это заведомо враги?

ТехИнсайдер
«Мегалополис»: что Фрэнсис Форд Коппола думает о Римской империи и будущем Америки «Мегалополис»: что Фрэнсис Форд Коппола думает о Римской империи и будущем Америки

«Мегалополис»: каким получился новый фильм классика кинематографа

Forbes
Как победить эффект «йо-йо» Как победить эффект «йо-йо»

Как спрыгнуть с весовых качелей и, похудев, сохранить результат?

Здоровье
Это не совсем я, Эдичка. Каким получился «Лимонов» Кирилла Серебренникова с Беном Уишоу и Викторией Мирошниченко? Это не совсем я, Эдичка. Каким получился «Лимонов» Кирилла Серебренникова с Беном Уишоу и Викторией Мирошниченко?

«Лимонов. Баллада об Эдичке» — кино о писателе-панке и партийном вожде

Правила жизни
Богатые, жадные и одинокие: почему богачей не любят и что об этом говорит наука Богатые, жадные и одинокие: почему богачей не любят и что об этом говорит наука

Какие существуют исследования взаимосвязи нравственности и богатства

Forbes
Его Высокопреосвященство Его Высокопреосвященство

Арест и суд над венгерским кардиналом Йожефом Миндсенти

Дилетант
Ребенок за штурвалом: страшная катастрофа Airbus A310 авиакомпании «Аэрофлот», которая унесла жизни 75 человек Ребенок за штурвалом: страшная катастрофа Airbus A310 авиакомпании «Аэрофлот», которая унесла жизни 75 человек

Эта авивкатастрофа заняла первое место в рейтинге «самых нелепых»

ТехИнсайдер
13 предметов, которые нельзя чистить уксусом: мнение профессиональных клинеров 13 предметов, которые нельзя чистить уксусом: мнение профессиональных клинеров

От каких вещей профессиональные клинеры советуют держать уксус подальше

VOICE
Мог исчезнуть, но выстоял и стал российским: 5 фактов о Lada Largus Мог исчезнуть, но выстоял и стал российским: 5 фактов о Lada Largus

Lada Largus: в чем ижевский универсал оказался лучше тольяттинского

РБК
Проверка жениха и невесты на прочность: 7 необычных свадебных ритуалов в разных странах Проверка жениха и невесты на прочность: 7 необычных свадебных ритуалов в разных странах

Сколько в мире культур — столько и вариантов справить свадьбу

ТехИнсайдер
Как не стать жертвой чистоты? Как не стать жертвой чистоты?

Мало кто догадывается, что средства чистоты могут стать причиной воспаления

Здоровье
Эмбрион человека при развитии постоянно нарушает симметрию Эмбрион человека при развитии постоянно нарушает симметрию

«Жизнь состоит из постоянного нарушения симметрии»

ТехИнсайдер
Семейное дело: как дети режиссеров идут по стопам родителей и строят карьеру в кино Семейное дело: как дети режиссеров идут по стопам родителей и строят карьеру в кино

Профессию в киноиндустрии «наследуют» не только актеры, но и режиссеры

Forbes
«Великий мертвец» «Великий мертвец»

Неужели шекспировские пьесы сочинил «великий мертвец» — Кристофер Марло?

Знание – сила
Как избавиться от заевшей в голове песни: 3 простых шага Как избавиться от заевшей в голове песни: 3 простых шага

Практический способ стряхнуть наваждение от заевшей песни

Psychologies
Полина Luxury Girl: «В процессе съемок мой муж однажды чуть не получил инфаркт» Полина Luxury Girl: «В процессе съемок мой муж однажды чуть не получил инфаркт»

Полина Luxury Gir рассказывает истории про индустрию фильмов для взрослых

Maxim
Похитители молодости: 5 вещей в твоем доме, которые тихо приближают старость Похитители молодости: 5 вещей в твоем доме, которые тихо приближают старость

Экзогенные токсины в доме могут оказывать серьезное воздействие на организм

VOICE
Пасхальная оология Пасхальная оология

Красим яйца вместе с птицами

N+1
Не вступать в старость без любви: почему возраст пугает и как научиться его принимать Не вступать в старость без любви: почему возраст пугает и как научиться его принимать

Глава из книги «Возраст: Инструкция по применению»

Forbes
Как в СССР «делали» главных конструкторов: 5 шагов в бессмертие Как в СССР «делали» главных конструкторов: 5 шагов в бессмертие

Как в Союзе решали, кому суждено занять почетную должность главного конструктора

ТехИнсайдер
Открыть в приложении