Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Не чешите левую ладонь: 7 самых странных суеверий со всего мира Не чешите левую ладонь: 7 самых странных суеверий со всего мира

О некоторых из этих суеверий вы даже не слышали

Psychologies
Защищает от простуды и рака! Узнайте интересные факты о пользе приправы карри Защищает от простуды и рака! Узнайте интересные факты о пользе приправы карри

Карри: ароматная и полезная для здоровья приправа

ТехИнсайдер
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
5 причин посмотреть новый фильм «Ворон» 2024 года 5 причин посмотреть новый фильм «Ворон» 2024 года

«Ворон»: получилась ли новая экранизация комикса удачной?

Maxim
Дождевые черви не смогут прокормить человечество в случае ядерной войны Дождевые черви не смогут прокормить человечество в случае ядерной войны

Сбор дождевых червей для пропитания оказался слишком трудоемким

N+1
Что обо мне подумают: как побороть зависимость от мнения окружающих и думать о себе Что обо мне подумают: как побороть зависимость от мнения окружающих и думать о себе

Как не допустить полного растворения в мнении окружающих?

Psychologies
«Лучшее решение — блокировка сайтов с незарегистрированными БАДами» «Лучшее решение — блокировка сайтов с незарегистрированными БАДами»

Хакан Эртюрк о трендах и регулировании российского рынка БАДов

РБК
Крым: как устроить человеческое житьё Крым: как устроить человеческое житьё

Летом 1920 года в Крыму царил осторожный оптимизм

Дилетант
Фиаско Илона Маска Фиаско Илона Маска

Почему не сработала идея вакуумного транспорта – гиперлупа?

ТехИнсайдер
Транжира, фриган, трудоголик: какие есть денежные типы личности и можно ли изменить свое отношение к финансам Транжира, фриган, трудоголик: какие есть денежные типы личности и можно ли изменить свое отношение к финансам

Несколько денежных типов личности, которые определяют подход людей к деньгам

ТехИнсайдер
«Дизайн-завод»: реинкарнация арт-кластера в Москве «Дизайн-завод»: реинкарнация арт-кластера в Москве

«Дизайн-завод»: как небольшое местечко в Москве превратилось в арт-район

Psychologies
Плати и учись Плати и учись

Что нужно знать, подписывая договор о платном образовании

Лиза
Японский бот тебе товарищ Японский бот тебе товарищ

«Санни»: сериал-инструкция по мирному сосуществованию с роботами

Weekend
В зоне комфорта В зоне комфорта

Comfort food в России всегда была неразрывна с деревней

Bones
Задачу коммивояжера решили одним кубитом Задачу коммивояжера решили одним кубитом

Ученые оптимизировали маршрут между городами с помощью одного кубита

N+1
Робот-гуманоид вышел на работу на завод BMW. Работодатель доволен Робот-гуманоид вышел на работу на завод BMW. Работодатель доволен

Компания BMW на своем заводе провела тестирование робота-гуманоида Figure 02

ТехИнсайдер
Список продуктов с низким гликемическим индексом: что это и зачем нужен Список продуктов с низким гликемическим индексом: что это и зачем нужен

Какие продукты имеют низкий ГИ и как правильно вводить их в рацион

РБК
Что такое «фанфляция», или почему у вас так мало денег на банковской карте Что такое «фанфляция», или почему у вас так мало денег на банковской карте

«Фанфляция» — на чем строится современная культура потребления

Psychologies
Кто предупрежден, тот вооружен Кто предупрежден, тот вооружен

Что делать, если родители или друзья пытаются давить на нас в своих интересах?

Psychologies
3 частые ситуации, в которых мы раним близких, сами того не желая 3 частые ситуации, в которых мы раним близких, сами того не желая

Будьте осторожны: подобное поведение действительно может убить отношения!

Psychologies
Рынок жилья охлаждается, но неохотно Рынок жилья охлаждается, но неохотно

Квартирный рынок входит в этап развития, связанный с отменой льготной ипотеки

Монокль
Искусство вокруг руин: «Воскресенский завод» в Башкортостане Искусство вокруг руин: «Воскресенский завод» в Башкортостане

Арт-центр «Воскресенский завод» — неожиданный проект концепции сохранения руин

Psychologies
6 способов «похудеть» мужа незаметно для него 6 способов «похудеть» мужа незаметно для него

Как помочь своему мужу похудеть без насилия над ним?

Psychologies
Полярные сияния будут возникать не только на крайнем севере! Вот как вспышки на Солнце влияют на Землю Полярные сияния будут возникать не только на крайнем севере! Вот как вспышки на Солнце влияют на Землю

Как солнечная активность влияет на Землю и вызывает полярные сияния

ТехИнсайдер
Стрит-арт полушепотом Стрит-арт полушепотом

Артем Филатов: ботаническая философия

Weekend
Второе дыхание: как преодолеть «плато» в похудении? Второе дыхание: как преодолеть «плато» в похудении?

О природе «плато» и о том, как все-таки сдвинуть вес с мертвой точки

Правила жизни
Эта кукла напугала американцев! Узнайте историю игрушки «с паранормальными способностями» Эта кукла напугала американцев! Узнайте историю игрушки «с паранормальными способностями»

Почему людям страшно находиться рядом с этой куклой?

ТехИнсайдер
«Обыкновенные убийцы: Как система превращает обычных людей в монстров» «Обыкновенные убийцы: Как система превращает обычных людей в монстров»

Почему немецкие солдаты редко испытывали стресс из-за убийства евреев

N+1
«В начале было кофе. Лингвомифы, речевые „ошибки“ и другие поводы поломать копья в спорах о русском языке» Почему некоторые слова перестают склоняться «В начале было кофе. Лингвомифы, речевые „ошибки“ и другие поводы поломать копья в спорах о русском языке» Почему некоторые слова перестают склоняться

О том, почему некоторые слова в русском языке теряют возможность склоняться

N+1
От детей-сирот до мажоров. Как эволюционировала школьная форма в разных странах От детей-сирот до мажоров. Как эволюционировала школьная форма в разных странах

Как и где появилась школьная форма и какая она была в России

СНОБ
Открыть в приложении