Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Hip-Hop Rules Luxury Hip-Hop Rules Luxury

Отношения хип-хопа и люкса складывались непросто

Robb Report
Перестаньте добавлять сахар в кофе! Вот как это вредит здоровью Перестаньте добавлять сахар в кофе! Вот как это вредит здоровью

Смешивание сахара с кофе может иметь неожиданные последствия для здоровья

ТехИнсайдер
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Робот-гуманоид вышел на работу на завод BMW. Работодатель доволен Робот-гуманоид вышел на работу на завод BMW. Работодатель доволен

Компания BMW на своем заводе провела тестирование робота-гуманоида Figure 02

ТехИнсайдер
6 заблуждений из детства, которые мешают нам жить 6 заблуждений из детства, которые мешают нам жить

Почему так трудно забыть негативные уроки детства

Psychologies
Астрономы напрямую рассмотрели фотосферу Полярной звезды Астрономы напрямую рассмотрели фотосферу Полярной звезды

Астрономы переопределили массу Полярной звезды

N+1
«Все есть копия» «Все есть копия»

Как китайцы начинают работать над новым дизайном этого мира

Правила жизни
Продолжать поток Продолжать поток

О личном, прекрасном и важном — в интервью Александры Урсуляк

OK!
«Вам звонят из…» «Вам звонят из…»

Почему мы не можем просто положить трубку, когда звонят мошенники?

Psychologies
Юридические тексты сравнили с магическими заклинаниями Юридические тексты сравнили с магическими заклинаниями

Зачем авторы официальных текстов используют такие сложные конструкции?

N+1
«Делай как я хочу» «Делай как я хочу»

Как не попасть под нежелательное воздействие и эмоциональные ловушки?

Psychologies
Женский взгляд: 10 красных флагов в дейтинг-приложениях Женский взгляд: 10 красных флагов в дейтинг-приложениях

Десять стоп-сигналов, которые говорят женщинам: «Не стоит ему отвечать»

Psychologies
Живейшее из искусств Живейшее из искусств

«Комната 999»: кинорежиссеры рассуждают о судьбе кино

Weekend
Экшен и искрометный юмор: 16 лучших комедийных боевиков Экшен и искрометный юмор: 16 лучших комедийных боевиков

Подборка лучших боевиков с оригинальным сюжетом и блистательными актерами

Maxim
Финифть: мир в стиле мини Финифть: мир в стиле мини

Финифть — это не только женские украшения, но и портреты, пейзажи и иконы

КАНТРИ Русская азбука
15 модных словечек и фраз, которые стоит позаимствовать из словаря зумеров 15 модных словечек и фраз, которые стоит позаимствовать из словаря зумеров

Разбираем зумерский сленг, чтобы найти с ними общий язык

Psychologies
Семейный совет Семейный совет

Что входит в чек-лист фертильности, высоки ли шансы преодолеть мужское бесплодие

Собака.ru
Рабочий, колхозница и граненый стакан Рабочий, колхозница и граненый стакан

Вера Мухина создала главный советский памятник и культовую советскую посуду

Правила жизни
«Месье поправляет пенсне» «Месье поправляет пенсне»

История очков, настоящий исторический детектив

Зеркало Мира
Как вирус Эпштейна — Барр сближает гены Как вирус Эпштейна — Барр сближает гены

Как инфекция EBV приводит к возникновению лимфом у людей без снижения иммунитета

Наука и жизнь
Горе победившим Горе победившим

Как московский князь Юрий Данилович неудачно воевал с Тверью

Дилетант
Мыловарение: мoем-мoем трубочиста... Мыловарение: мoем-мoем трубочиста...

Натуральное ароматное и красивое мыло несложно сделать в домашних условиях

КАНТРИ Русская азбука
На пути к миллиарду: Telegram исполняется 11 лет На пути к миллиарду: Telegram исполняется 11 лет

IT-аналитик Федор Скуратов — об эре Telegram

СНОБ
«В чем подвох?»: почему мы ищем скрытый смысл там, где его нет «В чем подвох?»: почему мы ищем скрытый смысл там, где его нет

Почему мы ищем подвох там, где он даже не предполагался?

Psychologies
Правда или миф: действительно ли панама была придумана в Панаме? Правда или миф: действительно ли панама была придумана в Панаме?

Кто придумал панаму и почему она так называется?

ТехИнсайдер
В России представили новый кроссовер «Москвич 8»: все подробности В России представили новый кроссовер «Москвич 8»: все подробности

Кроссовер «Москвич 8»: все подробности об этом автомобиле

РБК
Эмоциональный инцест: 4 признака, что вы слишком близки с ребенком Эмоциональный инцест: 4 признака, что вы слишком близки с ребенком

Где та грань, за которой близость с родителями становится нездоровой?

Psychologies
Дождевые черви не смогут прокормить человечество в случае ядерной войны Дождевые черви не смогут прокормить человечество в случае ядерной войны

Сбор дождевых червей для пропитания оказался слишком трудоемким

N+1
Что не продать — переработать Что не продать — переработать

Стоит ли садоводам создавать собственные перерабатывающие мощности

Агроинвестор
5 признаков, что ваш брак под угрозой 5 признаков, что ваш брак под угрозой

Как понять, какие перспективы у вашего союза?

Psychologies
Открыть в приложении