Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Рецепт счастья по-фински Рецепт счастья по-фински

В чем секрет финнов и какие факторы повышают удовлетворенность жизнью?

Psychologies
Валенки — большие и маленькие Валенки — большие и маленькие

Семья Соколовых больше двадцати лет валяет по старинной технологии валенки

КАНТРИ Русская азбука
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Какие ошибки в воспитании оставляют «шрамы» на психике, или Как вырастить невротика Какие ошибки в воспитании оставляют «шрамы» на психике, или Как вырастить невротика

О самых распространенных ошибках в воспитании: как уберечь от них своих детей?

Psychologies
Домашний офис. Полезные идеи для обустройства рабочего места на удаленке Домашний офис. Полезные идеи для обустройства рабочего места на удаленке

Мебель для домашнего офиса должна соответствовать определенным требованиям

Лиза
Триллионы долларов за грамм: 7 самых дорогих материалов в мире Триллионы долларов за грамм: 7 самых дорогих материалов в мире

Алмазы, лекарства и даже песок с Луны — вещества, которые стоят миллионы

ТехИнсайдер
Осторожно: тромб! Осторожно: тромб!

10 неочевидных симптомов, которые могут сигнализировать о тромбах

Лиза
Мягкого робота научили отбрасывать ноги Мягкого робота научили отбрасывать ноги

Новый тип соединения для роботов, который позволяет им отбрасывать конечности

N+1
«Я стала делать все сама, и это облегчило мою жизнь»: решение читательницы комментирует психолог «Я стала делать все сама, и это облегчило мою жизнь»: решение читательницы комментирует психолог

Можно ли полагаться в этой жизни только на себя?

Psychologies
На помощь придут антиоксиданты На помощь придут антиоксиданты

Что поможет восполнить недостаток антиоксидантов?

Здоровье
От commodities к брендам От commodities к брендам

Как расширить присутствие российской продукции на внешних рынках

Агроинвестор
Балтимор слезам не верит Балтимор слезам не верит

«Женщина в озере»: сериальный дебют Натали Портман

Weekend
Летняя любовь: правила счастливого романа Летняя любовь: правила счастливого романа

Считается, что будущего у курортных романов нет, но перспективы в них не главное

Новый очаг
Как собрать чемодан для путешествия: 9 полезных советов стюардесс Как собрать чемодан для путешествия: 9 полезных советов стюардесс

Лайфхаки, которые помогут легко и быстро упаковать чемодан перед путешествием

VOICE
Будет мальчик! Будет мальчик!

11 примет, которые предсказывают беременность и пол ребенка

Лиза
«Денег нет, но вы держитесь»: 5 самых тяжелых случаев инфляции в истории «Денег нет, но вы держитесь»: 5 самых тяжелых случаев инфляции в истории

Самые тяжелые случаи инфляции с чрезвычайно высокими темпами в истории

ТехИнсайдер
Ингибиторы всасывания холестерина снизили риск развития рака печени Ингибиторы всасывания холестерина снизили риск развития рака печени

Прием ингибиторов всасывания холестерина связан со снижением риска рака печени

N+1
Вася из прошлого и настоящего. Как изменился эмоциональный интеллект у детей Вася из прошлого и настоящего. Как изменился эмоциональный интеллект у детей

Психолог Катерина Мурашова — про эмоциональный интеллект у современных детей

СНОБ
«Горжусь нашим кастингом» «Горжусь нашим кастингом»

Режиссер Анна Матисон об истории адвоката Плевако и историческом детективе

OK!
Птицам стыдно? Ученые выяснили, что курицы могут краснеть! Вот почему это происходит Птицам стыдно? Ученые выяснили, что курицы могут краснеть! Вот почему это происходит

Куры способны краснеть — и не только. Вот что выяснили ученые!

ТехИнсайдер
Из газеты в Белый дом: как Жаклин Кеннеди помогла мужу стать президентом Из газеты в Белый дом: как Жаклин Кеннеди помогла мужу стать президентом

Какой была первая леди, которая запомнилась миру не меньше, чем ее муж-президент

Forbes
Вступил в силу новый порядок возврата переведенных мошенникам денег: какие есть риски Вступил в силу новый порядок возврата переведенных мошенникам денег: какие есть риски

Почему финансовые организации теперь должны проверять все переводы клиентов

Forbes
Теневые короли и их великий «Шелковый путь 2.0» Теневые короли и их великий «Шелковый путь 2.0»

«Шелковый путь»: сетевая империя, которая изменила очень многое в XXI веке

P.I.C. Partner In Crime
Семейная история Семейная история

Почему верфь, известная судами для нужд военных, перешла к выпуску парусных яхт?

Y Magazine
7 подручных средств: чем заменить гантели для тренировки в домашних условиях 7 подручных средств: чем заменить гантели для тренировки в домашних условиях

Чем дома заменить инвентарь для силовых тренировок?

ТехИнсайдер
Японский островок Японский островок

Как превратить свой загородный участок в оазис умиротворения и покоя

Лиза
Не мы такие, кино такое Не мы такие, кино такое

10 безжалостных режиссеров-садистов

Weekend
Казахстанский хоррор «Дастур»: почему его нужно посмотреть всем, кто увлекается психологией Казахстанский хоррор «Дастур»: почему его нужно посмотреть всем, кто увлекается психологией

Каким получился дебютный фильм Куаныша Бейсекова «Дастур»?

Psychologies
Чем черника отличается от голубики и в чем ее польза для организма Чем черника отличается от голубики и в чем ее польза для организма

Черника известна пользой для зрения, но это лишь верхушка айсберга

РБК
Страшный эксперимент из СССР! Как ученый Владимир Демихов создал двухголовую собаку Страшный эксперимент из СССР! Как ученый Владимир Демихов создал двухголовую собаку

Сюрреалистичный эксперимент доктора Демихова

ТехИнсайдер
Открыть в приложении