Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Нейросеть Chat GPT отвечает на самые страшные женские вопросы Нейросеть Chat GPT отвечает на самые страшные женские вопросы

Мы решили заставить компьютеры решить действительно сложные задачи

Maxim
Сказка о гендерном равенстве: почему женщины в России зарабатывают меньше мужчин Сказка о гендерном равенстве: почему женщины в России зарабатывают меньше мужчин

Откуда берется гендерное неравенство в зарплате?

Forbes
Как сделать сайт бесплатно: без программистов и дизайнеров Как сделать сайт бесплатно: без программистов и дизайнеров

Как сделать сайт бесплатно, даже если у вас нет никаких навыков в кодинге

CHIP
С чем делали бутерброды в СССР С чем делали бутерброды в СССР

Люди в СССР изобретали совершенно удивительные по нынешним меркам бутерброды

Maxim
Путь алхимика: как попасть в престижный американский стартап-акселератор Alchemist Путь алхимика: как попасть в престижный американский стартап-акселератор Alchemist

Как пройти в Alchemist, один из топовых американских стартап-акселераторов?

Forbes
Лодка для моряков Лодка для моряков

Откуда такой большой интерес к траулерной яхте Grand Banks 54?

Y Magazine
Убийца прокрастинации: как работать по технике «Помодоро» Убийца прокрастинации: как работать по технике «Помодоро»

Как выполнять задачи эффективно и все успевать благодаря технике «Помодоро»

ТехИнсайдер
«Чиназес»: что означает это новое слово в подростковом сленге «Чиназес»: что означает это новое слово в подростковом сленге

Почему сленг для подростков — важная часть построения коммуникации?

Psychologies
Вот и сказочке конец: как Винни-Пух стал серийным убийцей Вот и сказочке конец: как Винни-Пух стал серийным убийцей

Почему сказки становятся кровавыми хоррорами?

СНОБ
Эмоциональная анестезия: как перестать выбирать холодных партнеров Эмоциональная анестезия: как перестать выбирать холодных партнеров

Что такое «химия» отвержения и эмоциональной депривации? Как она работает?

Psychologies
Роман-катастрофа: 5 лучших книг для знакомства с жанром Роман-катастрофа: 5 лучших книг для знакомства с жанром

Как добавить в будни адреналина, но без лишнего риска: подборка книг

Maxim
Обмен дарами: почему мы так нуждаемся в отношениях Обмен дарами: почему мы так нуждаемся в отношениях

Почему мы нуждаемся друг в друге и как закрепить значимые для нас связи?

Psychologies
Как избавиться от платяной моли: рекомендации профессиональных клинеров Как избавиться от платяной моли: рекомендации профессиональных клинеров

Рассказываем, какие существуют способы борьбы с платяной молью!

VOICE
«После школы»: почему в 57-й годами процветало насилие «После школы»: почему в 57-й годами процветало насилие

Почему подростки не могут распознать насилие в свой адрес?

Psychologies
«Интимная история человечества» «Интимная история человечества»

Как уважение стало ценнее власти

N+1
Юлианна Караулова: «Мне хочется нравиться людям» Юлианна Караулова: «Мне хочется нравиться людям»

Юлианна Караулова: как же обратить негатив себе на пользу и в чем черпать силы

Лиза
По ту сторону диагноза: как живет человек с рассеянным склерозом По ту сторону диагноза: как живет человек с рассеянным склерозом

История девушки с рассеянным склерозом, которая смогла добиться ремиссии

СНОБ
7 фраз, с помощью которых легко завести друзей в любом возрасте 7 фраз, с помощью которых легко завести друзей в любом возрасте

Фразы, которые помогут завязать разговор с любым незнакомцем

Psychologies
Грязные дела: как правильно выбрать буксировочный трос в машину Грязные дела: как правильно выбрать буксировочный трос в машину

Плюсы и минусы разных видов буксировочных тросов

ТехИнсайдер
Резервная копия человечества на Красной планете: узнали у экспертов, когда ждать первых марсианских колоний Резервная копия человечества на Красной планете: узнали у экспертов, когда ждать первых марсианских колоний

5 вопросов о колонизации Марса писателю-фантасту и популяризатору науки

ТехИнсайдер
«Кладбище самолетов»: какой у лайнеров срок годности и что с ними происходит, когда они больше не могут летать «Кладбище самолетов»: какой у лайнеров срок годности и что с ними происходит, когда они больше не могут летать

У всего в этом мире есть срок годности, даже у самолетов. Но где их «кладбища»?

ТехИнсайдер
«Покуда я тебя не убью»: реальная история медсестры, которая три года жила с маньяком «Покуда я тебя не убью»: реальная история медсестры, которая три года жила с маньяком

«Покуда я тебя не убью» — британский мини-сериал в жанре тру-крайм

Forbes
Как стресс заставляет нас стареть быстрее: 5 опасных последствий Как стресс заставляет нас стареть быстрее: 5 опасных последствий

Как негативные эмоции вредят организму и что с этим делать

Psychologies
Себе — все, другим — ничего: почему эгоизм на самом деле полезен Себе — все, другим — ничего: почему эгоизм на самом деле полезен

Действительно ли эгоизм столь плохое качество, от которого стоит избавиться?

Psychologies
Детский мир Детский мир

Питер Брейгель превратил в детскую площадку целый город

Вокруг света
От поющих сестер до Spice Girls: как появились и почему исчезли женские группы От поющих сестер до Spice Girls: как появились и почему исчезли женские группы

О чем пели первые женские коллективы, как Spice Girls стали мировой сенсацией

Forbes
Пятнадцать строчек лейтенанта Шмидта Пятнадцать строчек лейтенанта Шмидта

Подлинная и забытая история революционера лейтенанта Петра Шмидта

Дилетант
Спасите наши души: как появился международный сигнал бедствия SOS Спасите наши души: как появился международный сигнал бедствия SOS

SOS: почему было выбрано такое сочетание букв и как оно стало международным?

ТехИнсайдер
Цезарь умер, да здравствует Цезарь! Каким получился блокбастер «Планета обезьян: Новое царство»? Цезарь умер, да здравствует Цезарь! Каким получился блокбастер «Планета обезьян: Новое царство»?

Дарвинистский блокбастер «Планета обезьян: Новое царство»: стоит ли смотреть?

Правила жизни
На полюс из стратосферы На полюс из стратосферы

Каково это — десантироваться с парашютом на Северный полюс с высоты 10,5 км?

ТехИнсайдер
Открыть в приложении