Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Книги Книги

Путеводитель по библиографии Лимонова

Esquire
Хвостатый рейс: в США открыли авиакомпанию премиум-класса для собак Хвостатый рейс: в США открыли авиакомпанию премиум-класса для собак

В этой авиакомпании все для... собак

ТехИнсайдер
Всё сложится! Всё сложится!

Лайфхаки, которые упростят сборы и сделают путешествие комфортнее

Новый очаг
Как IT-специалисты из Северной Кореи обманом устраивались в американские компании Как IT-специалисты из Северной Кореи обманом устраивались в американские компании

Как специалисты из КНДР использовали поддельные личности в США?

Forbes
Крестоносец за решёткой Крестоносец за решёткой

Роберт Нормандский — один из первых политических узников Средневековья

Дилетант
Лучшие роли Бернарда Хилла, сыгравшего Теодена из «Властелина колец» Лучшие роли Бернарда Хилла, сыгравшего Теодена из «Властелина колец»

Вспоминаем лучшие роли известного британского актера Бернарда Хилла

Maxim
Бегущая с волками. Какой получилась «Фуриоса: Хроники Безумного Макса»? Бегущая с волками. Какой получилась «Фуриоса: Хроники Безумного Макса»?

Несмотря на 2,5 часа хронометража, «Фуриоса» справляется с экспозицией за минуту

Правила жизни
Подводные лодки и придворный шарм Подводные лодки и придворный шарм

Подводная лодка С.К. Джевецкого – первая в мире серийная субмарина

Наука и техника
Медленно, но верно Медленно, но верно

Стиль питания – всего лишь набор пищевых привычек, менять их нужно постепенно

Лиза
Не все коты одинаково полезны. История Непотопляемого Сэма — самого везучего кота в истории Не все коты одинаково полезны. История Непотопляемого Сэма — самого везучего кота в истории

Как кот Сэм три раза тонул, стал героем флота и дожил до старости

ТехИнсайдер
В каком виски нет красителей? В каком виски нет красителей?

Зачем в виски добавляют красители и другие добавки?

Maxim
Жизнь продолжается Жизнь продолжается

Azimut Fly 72 — авангардная моторная яхта от итальянского бренда

Y Magazine
Виды и типы мотоциклов: какие бывают и как называются Виды и типы мотоциклов: какие бывают и как называются

Какие мотоциклы бывают и чем они отличаются между собой?

РБК
«Ставить дружбу выше истины»: каково это — быть настоящим другом «Ставить дружбу выше истины»: каково это — быть настоящим другом

Дружба складывается не из схожестей людей, а из моментов, в которых они разнятся

Psychologies
Как вернуть мотивацию к бегу: примените эти 10 способов и вам захочется надеть кроссовки Как вернуть мотивацию к бегу: примените эти 10 способов и вам захочется надеть кроссовки

Как вернуть радость от пробежек и мотивацию к бегу

ТехИнсайдер
Каннский кинофестиваль–2024. Британская драма «Птица» с Барри Кеоганом и Францом Роговски Каннский кинофестиваль–2024. Британская драма «Птица» с Барри Кеоганом и Францом Роговски

На 77-м Каннском кинофестивале состоялась премьера фильма «Птица»

СНОБ
Сложное соседство: как жить в одном доме с кошкой, если у вас появилась аллергия Сложное соседство: как жить в одном доме с кошкой, если у вас появилась аллергия

Как ужиться в одной квартире с кошкой, если у вас появилась аллергия на нее?

ТехИнсайдер
Археологи обнаружили древнейшую стоянку людей на Иранском нагорье Археологи обнаружили древнейшую стоянку людей на Иранском нагорье

Группа ученых выявила древнейшую стоянку архаичных людей на Иранском нагорье

N+1
Неочевидная болезнь, которая может вас убить: когда нужно проверить функцию щитовидной железы Неочевидная болезнь, которая может вас убить: когда нужно проверить функцию щитовидной железы

Если вы быстро устаете, а нервная система сбоит — проверьте щитовидную железу

ТехИнсайдер
От выгорания к гармонии: как построить здоровые отношения с работой От выгорания к гармонии: как построить здоровые отношения с работой

Отрывок из книги «Я больше не хочу всем нравиться»

Inc.
Российский турист побывал в КНДР и рассказал о 5 странностях, которые повергли его в шок Российский турист побывал в КНДР и рассказал о 5 странностях, которые повергли его в шок

Что вас точно удивит в Северной Корее

Maxim
WD-40: история компании, которая создала универсальное средство WD-40: история компании, которая создала универсальное средство

Где и как была разработана формула «всемогущей» жидкости

ТехИнсайдер
Вот и сказочке конец: как Винни-Пух стал серийным убийцей Вот и сказочке конец: как Винни-Пух стал серийным убийцей

Почему сказки становятся кровавыми хоррорами?

СНОБ
Наука в фантастике: эпизоды истории Наука в фантастике: эпизоды истории

Утопия Богданова не стала образцом для общества, но его романы перечитывали

Наука и жизнь
Пыльца покажет Пыльца покажет

Как растения раскрывают преступления и загадки археологии

N+1
Египетская сила Египетская сила

Как британцы пустили 180 тысяч кошачьих мумий на удобрение

N+1
«Для русских интеллектуалов народ — это всегда „они“» «Для русских интеллектуалов народ — это всегда „они“»

Андрей Зорин о судьбе понятия «народ» в русской культуре

Weekend
Почему в автомобиле всегда так хочется вздремнуть Почему в автомобиле всегда так хочется вздремнуть

Почему поездка в автомобиле так убаюкивает?

Maxim
Бег в колесе снизил симптомы ПТСР у мышей Бег в колесе снизил симптомы ПТСР у мышей

Как физическая активность помогла мышам ослабить симптомы ПТСР

N+1
Муж-садист: какими были отношения Салтанат Нукеновой с Куандыком Бишимбаевым Муж-садист: какими были отношения Салтанат Нукеновой с Куандыком Бишимбаевым

Дело Салтанат: почему жертва домашнего насилия так и не ушла от мужа?

Psychologies
Открыть в приложении