Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Квантовое превосходство Квантовое превосходство

«Квантовый компьютер – атомная бомба XX века»

ТехИнсайдер
Лисички: почему самый хитрый гриб никогда не бывает червивым Лисички: почему самый хитрый гриб никогда не бывает червивым

Что такого опасного содержится в лисичках, что червяки отказываются их есть?

ТехИнсайдер
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Правила взаимности: при каких условиях деловые знакомства превращаются в бизнес-связи Правила взаимности: при каких условиях деловые знакомства превращаются в бизнес-связи

Как нетворкинг-туры помогают договариваться о выгодных контрактах и партнерствах

Forbes
Эколог Крейндлин: эти животные будут осенью бросаться под колеса Эколог Крейндлин: эти животные будут осенью бросаться под колеса

Каких животных стоит остерегаться российским водителям осенью?

ТехИнсайдер
11 идей прелюдии, которые должна попробовать каждая женщина 11 идей прелюдии, которые должна попробовать каждая женщина

Собрали лучшие идеи для прелюдии — выбирай и тестируй!

VOICE
«Дизайн-завод»: реинкарнация арт-кластера в Москве «Дизайн-завод»: реинкарнация арт-кластера в Москве

«Дизайн-завод»: как небольшое местечко в Москве превратилось в арт-район

Psychologies
Юла: кручу-верчу Юла: кручу-верчу

Яркая и шумная юла уже много веков веселит малышню в российских домах

КАНТРИ Русская азбука
Топ 10 фильмов про соперничество и соперников Топ 10 фильмов про соперничество и соперников

Фильмы для тех, кто любит наблюдать за напряженными столкновениями соперников

Maxim
Быстро и без печальных последствий: как погладить рубашку, чтобы выглядеть как с иголочки Быстро и без печальных последствий: как погладить рубашку, чтобы выглядеть как с иголочки

Как перестать тратить часы и научиться гладить рубашки всего за пять минут

ТехИнсайдер
Комариная охота: как выбрать фумигатор и облегчить себе жизнь? Комариная охота: как выбрать фумигатор и облегчить себе жизнь?

Что нужно учитывать при выборе фумигатора?

ТехИнсайдер
Чем запить лекарство? Чем запить лекарство?

Какие последствия могут быть от неправильного сочетания лекарств с едой

Лиза
Продолжать поток Продолжать поток

О личном, прекрасном и важном — в интервью Александры Урсуляк

OK!
Ночное освещение сделало листья городских деревьев слишком прочными для поедания насекомыми Ночное освещение сделало листья городских деревьев слишком прочными для поедания насекомыми

Искусственное освещение делает листья городских деревьев прочнее

N+1
Выходные на озере. ТОП-10 водоемов для летнего отдыха на берегу Выходные на озере. ТОП-10 водоемов для летнего отдыха на берегу

Если тебе претят морские пляжи, озера – лучшая альтернатива из имеющихся

2Xplore
Открытый рот «кричащей» мумии объяснили моментальным трупным окоченением Открытый рот «кричащей» мумии объяснили моментальным трупным окоченением

Египетские ученые исследовали мумию так называемой кричащей женщины

N+1
«Кукушка»: боди-хоррор о репродуктивном насилии на альпийском курорте «Кукушка»: боди-хоррор о репродуктивном насилии на альпийском курорте

Как действительно жуткий фильм осмысляет проблему репродуктивного насилия

Forbes
Держали в секрете 20 лет! Американцы нашли руины корабля пиратов с Варварийского берега Держали в секрете 20 лет! Американцы нашли руины корабля пиратов с Варварийского берега

Обнаруженный затонувший пиратский корабль — первый в своем роде

ТехИнсайдер
Первый премьер императорской России Первый премьер императорской России

Деяния Витте: сталь Транссиба и сохранение русского Дальнего Востока

Знание – сила
Второе дыхание: как преодолеть «плато» в похудении? Второе дыхание: как преодолеть «плато» в похудении?

О природе «плато» и о том, как все-таки сдвинуть вес с мертвой точки

Правила жизни
Улучшит пищеварение и работу мозга! Вот чем квашеная капуста полезна для здоровья Улучшит пищеварение и работу мозга! Вот чем квашеная капуста полезна для здоровья

Квашеная капуста — это не просто привычное, но и кладезь полезных веществ

ТехИнсайдер
9 фраз, которые лучше никогда не произносить вслух 9 фраз, которые лучше никогда не произносить вслух

Чего не стоит говорить людям, чтобы не сделать им хуже?

Psychologies
Золото короны: как члены королевских семей выступали и побеждали на Олимпиадах Золото короны: как члены королевских семей выступали и побеждали на Олимпиадах

Члены королевских семей, которым удалось пробиться на Олимпийские игры

Forbes
Что вытворяют тарантулы во время стресса и какой вид смертельно опасен для человека: 50 шокирующих фактов о пауках Что вытворяют тарантулы во время стресса и какой вид смертельно опасен для человека: 50 шокирующих фактов о пауках

Пауки не только устрашающе выглядят, но и полны загадок

ТехИнсайдер
Анна Теплицкая Анна Теплицкая

Романы, разводы, большие деньги — сериал «Наследники» есть у нас дома!

Собака.ru
«Завышенная цена стала рыночной»: почему дорожает аренда элитной недвижимости «Завышенная цена стала рыночной»: почему дорожает аренда элитной недвижимости

С чем связан рост арендных ставок на элитное жилье в Москве

СНОБ
Двигатель Renault К4М: описание и характеристики Двигатель Renault К4М: описание и характеристики

Все о двигателе K4M: надежность, особенности, характеристики

РБК
Бубновая дама Бубновая дама

Отрывок из книги об истории российского ретейла и концепт-сторе КМ20

Правила жизни
Аморфное вещество Аморфное вещество

История стекла гораздо древнее, чем нам кажется

Зеркало Мира
6 главных отличий нарцисса от обычного обиженного эгоиста 6 главных отличий нарцисса от обычного обиженного эгоиста

Не каждый токсичный человек — нарцисс. Как отличить его от эгоиста?

Psychologies
Открыть в приложении