Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Миф о красоте Миф о красоте

Стереотипы против женщин

kiozk originals
Уголок школьника Уголок школьника

5 вещей и предметов мебели, которые нужно выбросить из детской комнаты

Лиза
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Как использовать анальные шарики, чтобы испытать новый для себя вид оргазма Как использовать анальные шарики, чтобы испытать новый для себя вид оргазма

Анальные шарики для новичков: как выбрать и как использовать?

VOICE
Как избавиться от чувства вины и стыда? Объясняет психолог Как избавиться от чувства вины и стыда? Объясняет психолог

Что скрывают за собой стыд и вина? Стоит ли избавляться от этих чувств?

VOICE
Это должен знать каждый: что делать, если подавился? Как оказать помощь себе и ребенку? Это должен знать каждый: что делать, если подавился? Как оказать помощь себе и ребенку?

Как помочь себе или близкому, если кто-то подавился

ТехИнсайдер
Эта кукла напугала американцев! Узнайте историю игрушки «с паранормальными способностями» Эта кукла напугала американцев! Узнайте историю игрушки «с паранормальными способностями»

Почему людям страшно находиться рядом с этой куклой?

ТехИнсайдер
Стоматолог Блюмкин рассказал, какие гаджеты для зубов нужно приобрести каждому Стоматолог Блюмкин рассказал, какие гаджеты для зубов нужно приобрести каждому

Актуальные гаджеты для гигиены полости рта — советует стоматолог

ТехИнсайдер
Что не продать — переработать Что не продать — переработать

Стоит ли садоводам создавать собственные перерабатывающие мощности

Агроинвестор
«Прибить или приклеить»: губернатор Носов раскрыл секрет магаданского успеха в инвестполитике «Прибить или приклеить»: губернатор Носов раскрыл секрет магаданского успеха в инвестполитике

О новых соглашениях с партнерами, достижениях и планах Магаданской области

ФедералПресс
Кулинарные хитрости: как быстро снять кожицу с помидоров Кулинарные хитрости: как быстро снять кожицу с помидоров

Почистить помидоры можно без овощечистки и ножа

ТехИнсайдер
Про запас Про запас

Сезонные заготовки — дело выгодное с любой стороны

Bones
Шеф-повар Роман Киселёв: Более осознанный, индивидуальный подход к питанию — это тренд Шеф-повар Роман Киселёв: Более осознанный, индивидуальный подход к питанию — это тренд

Шеф-повар Роман Киселёв — о здоровом питании и еде будущего

СНОБ
«Дашь сиську потрогать?»: таксист снимал на видео, как домогался к клиенткам «Дашь сиську потрогать?»: таксист снимал на видео, как домогался к клиенткам

Что можно сделать в ситуации, если вас домогаются?

Psychologies
6 главных отличий нарцисса от обычного обиженного эгоиста 6 главных отличий нарцисса от обычного обиженного эгоиста

Не каждый токсичный человек — нарцисс. Как отличить его от эгоиста?

Psychologies
Крушение «Осоавиахима» Крушение «Осоавиахима»

В 1933 году граждане СССР праздновали триумф науки и техники — полёт стратостата

Дилетант
Чем полезна куриная печень для организма: 6 свойств Чем полезна куриная печень для организма: 6 свойств

Куриную печень готовят и едят гораздо реже самой курятины, но это зря

РБК
Белый спирт из Китая, покоривший мир Белый спирт из Китая, покоривший мир

В Китае свои алкогольные традиции

Зеркало Мира
Чем съемка Игр в Париже отличалась от съемки Олимпиады в Сочи — рассказывает Андрей Болтенко Чем съемка Игр в Париже отличалась от съемки Олимпиады в Сочи — рассказывает Андрей Болтенко

Почему парижское открытие Игр и революционное, и «жульническое» одновременно

СНОБ
«Поводом к травле могло стать любое слово, жест, взгляд» «Поводом к травле могло стать любое слово, жест, взгляд»

История Катерины, которая много лет страдала от пробелов в памяти после травли

Psychologies
Что вытворяют тарантулы во время стресса и какой вид смертельно опасен для человека: 50 шокирующих фактов о пауках Что вытворяют тарантулы во время стресса и какой вид смертельно опасен для человека: 50 шокирующих фактов о пауках

Пауки не только устрашающе выглядят, но и полны загадок

ТехИнсайдер
Микробы, завернутые в лаваш: какую опасность таит шаурма Микробы, завернутые в лаваш: какую опасность таит шаурма

Что скрывается в шаурме и как выбрать безопасный для здоровья продукт?

ТехИнсайдер
Правильный гардероб: писательница Вера Богданова — о стиле Бритни Спирс, фраке Мармеладова и своей любви к «леопарду» Правильный гардероб: писательница Вера Богданова — о стиле Бритни Спирс, фраке Мармеладова и своей любви к «леопарду»

Писательница Вера Богданова — о любви к казакам и пижамам

Правила жизни
Инновационные решения ЦНИРТИ армии и флоту к 120-летию РЭБ Инновационные решения ЦНИРТИ армии и флоту к 120-летию РЭБ

Основные направления деятельности ЦНИРТИ сегодня

Обозрение армии и флота
5 правил аренды автомобиля в отпуске, чтобы не попасть на деньги 5 правил аренды автомобиля в отпуске, чтобы не попасть на деньги

Неочевидные моменты, которые следует учитывать, арендуя автомобиль

Maxim
Лисички: почему самый хитрый гриб никогда не бывает червивым Лисички: почему самый хитрый гриб никогда не бывает червивым

Что такого опасного содержится в лисичках, что червяки отказываются их есть?

ТехИнсайдер
Новая жизнь Новая жизнь

Вилла в Сочи с интерьером вне времени

SALON-Interior
Что такое датчик Холла и как его проверить: инструкция Что такое датчик Холла и как его проверить: инструкция

Все о датчике Холла: насколько он важен в автомобиле и как его проверить

РБК
Смерть самурая Смерть самурая

Лучший фильм, чтобы проститься с Аленом Делоном

Weekend
Деньги за идею: как и зачем технологические компании выходят на pre-IPO Деньги за идею: как и зачем технологические компании выходят на pre-IPO

Сколько технологическим компаниям удается зарабатывать на pre-IPO

Forbes
Открыть в приложении