Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Футболистки выходят на первый план: как женский спорт покоряет видеоигры Футболистки выходят на первый план: как женский спорт покоряет видеоигры

Как в мире видеоигр случилась гендерная революция

Forbes
Двигатель Renault К4М: описание и характеристики Двигатель Renault К4М: описание и характеристики

Все о двигателе K4M: надежность, особенности, характеристики

РБК
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Москвич, бегущий по лезвию Москвич, бегущий по лезвию

Как два легендарных американских дизайнера спроектировали автомобиль «Москвич»

Правила жизни
Дмитрий Ливанов: «В XXI веке само понятие специальности становится устаревшим» Дмитрий Ливанов: «В XXI веке само понятие специальности становится устаревшим»

Дмитрий Ливанов о прошлом, настоящем и будущем российского образования

РБК
Нежная бегония Нежная бегония

Хочешь, чтобы у тебя дома постоянно были живые прекрасные цветы?

Лиза
«А это мысль!» «А это мысль!»

Что такое инсайт и как его получить

Лиза
«Граф Аверин»: как детективная история про альтернативную Россию и демонического кота влюбила в себя читателей «Граф Аверин»: как детективная история про альтернативную Россию и демонического кота влюбила в себя читателей

«Граф Аверин»: в чем феномен серии книг, как на её популярность повлиял кот?

Psychologies
Ивановичи Ивановичи

Обоим сыновьям Ивана Калиты совсем не повезло с местом в истории

Дилетант
Виталий Коваленко: «Самое опасное в моей жизни — это съемки» Виталий Коваленко: «Самое опасное в моей жизни — это съемки»

Я прошел по краю: оказалось заряженным то оружие, которое не должно было

Караван историй
Чем запить лекарство? Чем запить лекарство?

Какие последствия могут быть от неправильного сочетания лекарств с едой

Лиза
Есть ли способы меньше потеть? Есть ли способы меньше потеть?

Как уменьшить избыточное потоотделение и начать жить?

Maxim
Инвестиции в импортозамещение: их эффект для развития российской промышленности Инвестиции в импортозамещение: их эффект для развития российской промышленности

Какие инвестиции направляются на реализацию импортозамещающих производств сейчас

ФедералПресс
Как корабль назовешь: познакомьтесь с Таней Андриановой и Кириллом Сергеевым, которые устраивают вечеринки на воде Как корабль назовешь: познакомьтесь с Таней Андриановой и Кириллом Сергеевым, которые устраивают вечеринки на воде

Создатели вечеринок на воде Cruise — о музыке и будущем проекта

Правила жизни
Исповедь рэп-звезды: как фильм «Телец» показывает взлеты и падения Machine Gun Kelly Исповедь рэп-звезды: как фильм «Телец» показывает взлеты и падения Machine Gun Kelly

«Телец» — тягучая музыкальная история рэпера Колсона Бэйкера

Forbes
Телескоп TESS отыскал две суперземли у края обитаемой зоны маломассивных красных карликов Телескоп TESS отыскал две суперземли у края обитаемой зоны маломассивных красных карликов

Космический телескоп TESS обнаружил две суперземли у красных карликов

N+1
Искусство вокруг руин: «Воскресенский завод» в Башкортостане Искусство вокруг руин: «Воскресенский завод» в Башкортостане

Арт-центр «Воскресенский завод» — неожиданный проект концепции сохранения руин

Psychologies
Дофамин и его предшественник леводопа усилили деградацию бета-амилоида в префронтальной коре мышей Дофамин и его предшественник леводопа усилили деградацию бета-амилоида в префронтальной коре мышей

Дофамин и леводопа индуцируют деградацию бета-амилоида в мозге мышей

N+1
Времена года повлияли на моральные ценности американцев Времена года повлияли на моральные ценности американцев

Одобрения сплачивающих моральных ценностей зависит от времени года

N+1
Флоресские «хоббиты» возникли не менее 700 тысяч лет назад Флоресские «хоббиты» возникли не менее 700 тысяч лет назад

Рост флоресских хоббитов был гораздо меньше, чем у более поздних потомков

N+1
Растение, творящее чудеса! Как использовали мяту на Руси, зачем ею натирали столы в Риме и еще 10 занимательных фактов Растение, творящее чудеса! Как использовали мяту на Руси, зачем ею натирали столы в Риме и еще 10 занимательных фактов

Душистая мята с давних времен имеет широкое практическое применение

ТехИнсайдер
Вавилонская башня: самые сложные и самые простые языки для изучения Вавилонская башня: самые сложные и самые простые языки для изучения

Почему одни языки легче выучить, чем другие?

ТехИнсайдер
Сталкер сновидений Сталкер сновидений

Можно ли управлять снами?

Лиза
Сербская литиевая драма Сербская литиевая драма

Руководство Сербии дало добро на разработку крупного месторождения лития

Монокль
Почему нам нравится сериал «Эмили в Париже» и чего ожидать от выхода 4-го сезона Почему нам нравится сериал «Эмили в Париже» и чего ожидать от выхода 4-го сезона

Как «Эмили в Париже» приковывает нас к экрану?

Psychologies
5 типов алкоголиков: к какому можно отнести вас? 5 типов алкоголиков: к какому можно отнести вас?

Наркологи распределили выпивающих людей на несколько групп

Psychologies
10 способов натренировать «мускулы храбрости» 10 способов натренировать «мускулы храбрости»

Храбрость — не врожденное качество, а навык, который можно натренировать

Psychologies
Никто не может трогать эту древнюю лестницу в храме Гроба Господня! Узнайте почему Никто не может трогать эту древнюю лестницу в храме Гроба Господня! Узнайте почему

Как деревянная лестница несет в себе историю религиозных споров и дипломатии

ТехИнсайдер
Обстрелы, дроны, теракты: как поддержать себя, когда близкие в опасности? Советует кризисный психолог Обстрелы, дроны, теракты: как поддержать себя, когда близкие в опасности? Советует кризисный психолог

Как справиться с тревогой и беспокойством?

Psychologies
Письмена доколумбовой Америки Письмена доколумбовой Америки

Системы письма у майя, ацтеков, мештеков и инков

Знание – сила
Открыть в приложении