Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Робот-пылесос научили ходить по ступенькам Робот-пылесос научили ходить по ступенькам

Разработан робопылесос, который способен спускаться и подниматься по лестницам

N+1
Галопом по Востоку Галопом по Востоку

Помимо острова Беринга, в восточной части России есть масса удивительных мест

2Xplore
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Эксперт рассказал, как меньше пьянеть! Факты о толерантности к алкоголю Эксперт рассказал, как меньше пьянеть! Факты о толерантности к алкоголю

Почему одни люди могут выпить больше других?

ТехИнсайдер
Чем полезна куриная печень для организма: 6 свойств Чем полезна куриная печень для организма: 6 свойств

Куриную печень готовят и едят гораздо реже самой курятины, но это зря

РБК
Трогательная история! Как стоматолога из Сирии воспитал отец с синдромом Дауна Трогательная история! Как стоматолога из Сирии воспитал отец с синдромом Дауна

Люди с синдромом Дауна не могут стать хорошими отцами? Джад Исса с этим поспорит

ТехИнсайдер
Рис, майонез и еще 3 продукта, которые можно использовать во время уборки Рис, майонез и еще 3 продукта, которые можно использовать во время уборки

Какие продукты для уборки подойдут не хуже, чем чистящие спреи и губки

VOICE
Снижение самооценки и панические атаки: чем опасно позитивное мышление Снижение самооценки и панические атаки: чем опасно позитивное мышление

Стоит ли придерживаться позитивного мышления? Отвечает гештальт-терапевт

Psychologies
50 cent, Леди Гага и другие звезды отказываются от секса: почему они это делают? 50 cent, Леди Гага и другие звезды отказываются от секса: почему они это делают?

Может ли отказ от секса изменить вашу жизнь к лучшему?

Psychologies
Солнечный коллектор vs солнечная панель: как определить, что выгоднее для дома Солнечный коллектор vs солнечная панель: как определить, что выгоднее для дома

Что из них выгоднее и чем отличаются: солнечный коллектор или солнечная панель?

ТехИнсайдер
8 фраз, которые вредно говорить детям 8 фраз, которые вредно говорить детям

Фразы, которые не оказывают воспитательного эффекта и портят отношения с детьми

Psychologies
«Женщины в синем»: как появилось первое женское подразделение полиции в Мексике «Женщины в синем»: как появилось первое женское подразделение полиции в Мексике

Сериал «Женщины в синем» о первом женском отряде полиции в Мексике 1970-х

Forbes
Пять минут позора: как подготовиться к интервью на английском и перестать бояться Пять минут позора: как подготовиться к интервью на английском и перестать бояться

Как успешно пройти интервью, даже если ваш английский пока далек от идеала?

Forbes
Шерстяное овцеводство: быть или не быть Шерстяное овцеводство: быть или не быть

Что может способствовать возрождению сектора производства шерсти?

Агроинвестор
Равноправие, инклюзия, справедливость: словарь гендерного равенства Равноправие, инклюзия, справедливость: словарь гендерного равенства

Чем разнообразие отличается от инклюзии, а равноправие — от равенства?

Forbes
Радиоэлектронная борьба в армиях стран НАТО Радиоэлектронная борьба в армиях стран НАТО

Программы развития радиоэлектронной борьбы в России и США

Обозрение армии и флота
Редкое животное и первые кадры! Фермер из Боливии сумел заснять амазонскую ласку: видео Редкое животное и первые кадры! Фермер из Боливии сумел заснять амазонскую ласку: видео

Об удивительном существе из густых лесов Амазонки известно не так много

ТехИнсайдер
Грифонаж, страпонтен, глабелла, нёрдл: необычные названия привычных вещей Грифонаж, страпонтен, глабелла, нёрдл: необычные названия привычных вещей

Грифонаж, страпонтен, петрикор: вы точно знаете эти вещи

ТехИнсайдер
Нежеланные попутчики Нежеланные попутчики

Даже если все вас бросят, а мир повернется к вам спиной – они останутся с вами

Зеркало Мира
Выходные на озере. ТОП-10 водоемов для летнего отдыха на берегу Выходные на озере. ТОП-10 водоемов для летнего отдыха на берегу

Если тебе претят морские пляжи, озера – лучшая альтернатива из имеющихся

2Xplore
3 роскошные альтернативы новому внедорожнику Tank 700. Подробности и цены 3 роскошные альтернативы новому внедорожнику Tank 700. Подробности и цены

Три достойные альтернативы для флагмана Great Wall

РБК
Точка опоры Точка опоры

Мифов о позвоночнике сложено немало, разбираем самые живучие из них

Лиза
«Один шаг, и ты стал частью какой-то мутной схемы»: рассказ читателя о знакомстве с даркнетом «Один шаг, и ты стал частью какой-то мутной схемы»: рассказ читателя о знакомстве с даркнетом

DarkNet: как люди в него попадают и почему застревают там?

Psychologies
Над поверхностью Земли Над поверхностью Земли

Существует целое сообщество людей, которым открыто все небо

2Xplore
Пиво и сыр помогли японским ботаникам уличить пещерных кузнечиков в распространении семян ринхотехума Пиво и сыр помогли японским ботаникам уличить пещерных кузнечиков в распространении семян ринхотехума

Ринхотехум из семейства геснериевых расселяется за счет пещерных кузнечиков

N+1
Триколор и Булочка: 39 текстов про тело в одной книге Триколор и Булочка: 39 текстов про тело в одной книге

Тема телесности раскрывается в тридцати девяти текстах «Тело: у каждого свое»

СНОБ
Как позвонить на Алису: подробная инструкция Как позвонить на Алису: подробная инструкция

Сейчас мы расскажем, как позвонить домой на Алису с телефона

CHIP
Не только смартфон Не только смартфон

Полезные гаджеты и лучшие приложения для учебы

Лиза
У твоих ног У твоих ног

Откуда же ждать варикоз и можно ли его предупредить?

Лиза
США запутались в ключах от Белого дома США запутались в ключах от Белого дома

Замена кандидата в президенты оживила предвыборную борьбу в США

Монокль
Открыть в приложении