Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Лидер, игрок, мудрец: 12 архетипов, которые складываются в ходе взросления с братьями и сестрами Лидер, игрок, мудрец: 12 архетипов, которые складываются в ходе взросления с братьями и сестрами

Почему так важно дружить с братьями и сестрами, особенно когда мы взрослеем?

Psychologies
Мамина диета Мамина диета

Ответы на самые популярные вопросы по питанию, которые волнуют будущих мамочек

Лиза
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Праздник урожая. Как выбирать продукты для консервирования: фрукты, ягоды, овощи, грибы Праздник урожая. Как выбирать продукты для консервирования: фрукты, ягоды, овощи, грибы

Консервируем овощи и фрукты – быстро, качественно и без лишних затрат

Лиза
Как быть: почему творческие профессии становятся востребованнее технических? Как быть: почему творческие профессии становятся востребованнее технических?

На кого идти учиться сейчас, чтобы быть востребованным в творческой индустрии?

Правила жизни
Охотник за бактериями: как Роберт Кох обнаружил возбудителей сибирской язвы, туберкулеза и холеры Охотник за бактериями: как Роберт Кох обнаружил возбудителей сибирской язвы, туберкулеза и холеры

Роберт Кох первым обнаружил, что виной холере были маленькие бактерии...

ТехИнсайдер
Пора по барам Пора по барам

Региональные бары все больше интегрируются в российскую культуру путешествия

Bones
«А это мысль!» «А это мысль!»

Что такое инсайт и как его получить

Лиза
Сад против времени. В поисках рая для всех Сад против времени. В поисках рая для всех

Глава из сборника Оливии Лэнг «Сад против времени. В поисках рая для всех»

Правила жизни
Не только смартфон Не только смартфон

Полезные гаджеты и лучшие приложения для учебы

Лиза
Что нужно знать о бензопилах: 16 самых популярных вопросов Что нужно знать о бензопилах: 16 самых популярных вопросов

Как выбрать цепь для бензиновой пилы, можно ли заливать в нее моторное масло

CHIP
Растение, творящее чудеса! Как использовали мяту на Руси, зачем ею натирали столы в Риме и еще 10 занимательных фактов Растение, творящее чудеса! Как использовали мяту на Руси, зачем ею натирали столы в Риме и еще 10 занимательных фактов

Душистая мята с давних времен имеет широкое практическое применение

ТехИнсайдер
Вавилонская башня: самые сложные и самые простые языки для изучения Вавилонская башня: самые сложные и самые простые языки для изучения

Почему одни языки легче выучить, чем другие?

ТехИнсайдер
Вперед и вверх: как начать заниматься скалолазанием и куда пойти Вперед и вверх: как начать заниматься скалолазанием и куда пойти

Быстрый гид по скалолазанию для начинающих

Правила жизни
Стесняюсь спросить: как отличить отек от жира? Стесняюсь спросить: как отличить отек от жира?

Как понять, жир у вас или отек, и как избавиться от того, и от другого

Правила жизни
Зажечь по-семейному: 3 основные причины снижения либидо в браке и рекомендации от сексологов Зажечь по-семейному: 3 основные причины снижения либидо в браке и рекомендации от сексологов

Как вернуть влечение, распознать за угасающей искрой яркое пламя страсти?

Psychologies
Юридические тексты сравнили с магическими заклинаниями Юридические тексты сравнили с магическими заклинаниями

Зачем авторы официальных текстов используют такие сложные конструкции?

N+1
Айсен Николаев о векторе развития республики Саха: «Экономический рост должен улучшать жизнь людей» Айсен Николаев о векторе развития республики Саха: «Экономический рост должен улучшать жизнь людей»

Якутия поражает темпами социального и экономического развития

ФедералПресс
6 главных отличий нарцисса от обычного обиженного эгоиста 6 главных отличий нарцисса от обычного обиженного эгоиста

Не каждый токсичный человек — нарцисс. Как отличить его от эгоиста?

Psychologies
5 секретов для достижения любой цели 5 секретов для достижения любой цели

Успех начинания, каким бы оно ни было, зависит от пяти элементов благополучия

Psychologies
Что произойдет, если бросить пакет с мусором в вулкан? Что произойдет, если бросить пакет с мусором в вулкан?

Смогут ли вулканы «переварить» весь человеческий мусор?

ТехИнсайдер
Кулинарные хитрости: как быстро снять кожицу с помидоров Кулинарные хитрости: как быстро снять кожицу с помидоров

Почистить помидоры можно без овощечистки и ножа

ТехИнсайдер
С чистого листа С чистого листа

Основные возрастные кризисы, которые случаются в жизни почти каждой женщины

Лиза
Парадокс Монти Холла: что это значит и как его применять Парадокс Монти Холла: что это значит и как его применять

Как математический парадокс применяют в жизни?

Psychologies
Что будет, если молния попадет в автомобиль? Что будет, если молния попадет в автомобиль?

Чем грозит разряд электричества небесной канцелярии машине и водителю.

Maxim
Версия для печати: скоро ли 3D-принтеры соберут человека по частям Версия для печати: скоро ли 3D-принтеры соберут человека по частям

Первые пациенты с 3D-имплантатами уже живут среди нас

Forbes
Что обо мне подумают: как побороть зависимость от мнения окружающих и думать о себе Что обо мне подумают: как побороть зависимость от мнения окружающих и думать о себе

Как не допустить полного растворения в мнении окружающих?

Psychologies
Телескоп TESS отыскал две суперземли у края обитаемой зоны маломассивных красных карликов Телескоп TESS отыскал две суперземли у края обитаемой зоны маломассивных красных карликов

Космический телескоп TESS обнаружил две суперземли у красных карликов

N+1
Без перегрузок Без перегрузок

Как правильно выбрать кружок или секцию для ребенка

Лиза
«Декамерон»: почему у Netflix не получилось придать Боккаччо современности «Декамерон»: почему у Netflix не получилось придать Боккаччо современности

Почему юмор Боккаччо создателям «Декамерона» сохранить скорее удалось

Forbes
Открыть в приложении