Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Лимонов и женщины Лимонов и женщины

Любовные успехи Лимонова легендарны. В любви он преуспел

Esquire
Тревожная демография: как резкое снижение рождаемости влияет на глобальную экономику и кто на этом зарабатывает Тревожная демография: как резкое снижение рождаемости влияет на глобальную экономику и кто на этом зарабатывает

Как связаны глобальная экономика и снижение рождаемости?

Inc.
Принцип бинокля в отношениях Принцип бинокля в отношениях

Как щедрый мужчина может оставить тебя без копейки и при чем тут принцип бинокля

Лиза
Мать и дитя: что делать, если твоя мама начала вести себя, как ребенок Мать и дитя: что делать, если твоя мама начала вести себя, как ребенок

Почему может произойти смена ролей в семье?

VOICE
Красный, как помидор: почему во время тренировки краснеет лицо и как это можно предотвратить Красный, как помидор: почему во время тренировки краснеет лицо и как это можно предотвратить

Почему люди краснеют во время занятий спортом?

ТехИнсайдер
Храп Храп

Как говорят специалисты, «звуковой феномен» храпа не является  болезнью

Здоровье
Защити свою энергию Защити свою энергию

Как распознать энергетических вампиров среди своего окружения

Лиза
Александр Пиперски: «Нейросети взломали систему человеческой коммуникации» Александр Пиперски: «Нейросети взломали систему человеческой коммуникации»

Как мы будем обмениваться информацией в век новых технологий

РБК
Принесенные ветром Принесенные ветром

Как Александр Волков перенес американскую волшебную страну на советскую почву

Weekend
«Догони цыпленка», неприличный этаж и битва с трамваями: удивительные и смешные факты о конке «Догони цыпленка», неприличный этаж и битва с трамваями: удивительные и смешные факты о конке

Работа конки на самом деле была полна неуклюжих и комичных моментов

ТехИнсайдер
Прагматичный человек Прагматичный человек

Выясняем, кто такой прагматичный человек на примерах из жизни

Лиза
Вопреки санкциям: почему акции золотодобытчиков дорожают вслед за золотом Вопреки санкциям: почему акции золотодобытчиков дорожают вслед за золотом

Акции российских золотодобытчиков подорожали вслед за ростом мировых цен

Forbes
Девять технологий, которые не оправдали надежд Девять технологий, которые не оправдали надежд

Могли ли эти технологии перевернуть мир или на них возложили напрасные ожидания?

Монокль
«Малым территориям — большое будущее» «Малым территориям — большое будущее»

Технология развития северных территорий через вовлечение местного сообщества

Позитивные изменения
«Как живые: Двуногие змеи, акулы-зомби и другие исчезнувшие животные» «Как живые: Двуногие змеи, акулы-зомби и другие исчезнувшие животные»

Какой была переходная форма от рыбы к четвероногому

N+1
«Нас называли ночными ведьмами»: мемуары советских летчиц 1940-х «Нас называли ночными ведьмами»: мемуары советских летчиц 1940-х

Отрывок из мемуаров летчиц о том, как вчерашние школьницы учились летать

Forbes
Татуировки повышают риск развития рака на 21% Татуировки повышают риск развития рака на 21%

Нанесение татуировки увеличивает риск развития лимфомы на 21%

ТехИнсайдер
Каменные плитки из затопленного памятника эпох мезолита и неолита оказались функциональными орудиями Каменные плитки из затопленного памятника эпох мезолита и неолита оказались функциональными орудиями

Ученые исследовали 11 каменных плиток, обнаруженных на затопленном памятнике

N+1
Артериальную гипертензию у подростков связали с инфарктами и инсультами во взрослом возрасте Артериальную гипертензию у подростков связали с инфарктами и инсультами во взрослом возрасте

У подростков с артериальной гипертензией высок риск инфарктов во взрослой жизни

N+1
«Каждый новый кризис давал нам большой пик по выручке» «Каждый новый кризис давал нам большой пик по выручке»

ГК «Ресторация» готова к гостиничному буму и росту спроса на оснащение отелей

Монокль
«Умоляющие» глаза собак появились не для нас. Они есть у диких пород «Умоляющие» глаза собак появились не для нас. Они есть у диких пород

Собаки пользуются мимикой не только с человеком, но и для общения друг с другом

ТехИнсайдер
Как проверить стартер на работоспособность в домашних условиях Как проверить стартер на работоспособность в домашних условиях

Все о проверке стартера: признаки неисправности и способы ремонта

РБК
Иран: линия прежняя, обстоятельства жестче Иран: линия прежняя, обстоятельства жестче

Почему вокруг смерти президента Ирана Эбрахима Раиси так много конспирологии?

Монокль
Победители Каннского кинофестиваля — 2024 Победители Каннского кинофестиваля — 2024

Фильм про стриптизёршу и иранские протесты: Канны 2024

СНОБ
Насколько обоснована защита авторских прав и как быть с компьютерным кодом Насколько обоснована защита авторских прав и как быть с компьютерным кодом

Что сейчас на переднем крае «битвы копирайтов»?

Forbes
«Фанатизм стал нашей страстью»: почему немцы поверили в нацистскую пропаганду «Фанатизм стал нашей страстью»: почему немцы поверили в нацистскую пропаганду

Как Мелита Машманн работала в нацистской газете?

Forbes
«Я уеду в Туву»: как регион стал перспективным вариантом для жизни «Я уеду в Туву»: как регион стал перспективным вариантом для жизни

Как Тува становится все более привлекательной и для жизни, и для туризма

Правила жизни
«Дух соревнования вреден для торгового счета» «Дух соревнования вреден для торгового счета»

RuMS о своей победе, допущенных ошибках и трейдерском пути

Монокль
Будущее на кончике пера: писатели, которые знали, что нас ждет Будущее на кончике пера: писатели, которые знали, что нас ждет

Писатели, смелые фантазии которых сбылись на самом деле

Maxim
И снова Хон! И снова Хон!

«Нужды путешественника»: смесь французского с рисовой водкой

Weekend
Открыть в приложении