Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Во власти непережитых чувств»: чем чреваты семейные тайны «Во власти непережитых чувств»: чем чреваты семейные тайны

Отрывок из книги «Миф, в котором я живу»: к чему приводят семейные секреты?

Psychologies
Владимир и Рогнеда Владимир и Рогнеда

Картина Антона Лосенко: как Владимир ходил свататься к дочери полоцкого князя

Дилетант
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Шеф-повар Роман Киселёв: Более осознанный, индивидуальный подход к питанию — это тренд Шеф-повар Роман Киселёв: Более осознанный, индивидуальный подход к питанию — это тренд

Шеф-повар Роман Киселёв — о здоровом питании и еде будущего

СНОБ
Хайям Аминов: «Наша задача — изучить всю Енисейскую Сибирь» Хайям Аминов: «Наша задача — изучить всю Енисейскую Сибирь»

Хайям Аминов о карьере, бизнесе, сибирских продуктах и душе

Bones
Астрономы напрямую рассмотрели фотосферу Полярной звезды Астрономы напрямую рассмотрели фотосферу Полярной звезды

Астрономы переопределили массу Полярной звезды

N+1
Ёлки зелёные Ёлки зелёные

Украшения к Новому году из еловых веток

КАНТРИ Русская азбука
Сад против времени. В поисках рая для всех Сад против времени. В поисках рая для всех

Глава из сборника Оливии Лэнг «Сад против времени. В поисках рая для всех»

Правила жизни
Отчимы и мачехи: как воспитывать «чужих» детей Отчимы и мачехи: как воспитывать «чужих» детей

Как принять и полюбить детей партнера из прошлых отношений?

Psychologies
«Швабе» о человеческом капитале: «От нашей работы с людьми зависит успех компании» «Швабе» о человеческом капитале: «От нашей работы с людьми зависит успех компании»

О том, как с непростой ситуацией кадрового голода справляется холдинг «Швабе»

ФедералПресс
Вкус ностальгии: блюда, которые были в каждой советской школьной столовой Вкус ностальгии: блюда, которые были в каждой советской школьной столовой

Вспоминаем, какие блюда подавали в каждой школе СССР

ТехИнсайдер
Решить проблему дефицита кадров в России поможет налоговая инновация СССР? Решить проблему дефицита кадров в России поможет налоговая инновация СССР?

Как увеличить производительность труда и обеспечить экономику работниками

ФедералПресс
5 захватывающих книг, которые можно успеть прочитать до конца лета 5 захватывающих книг, которые можно успеть прочитать до конца лета

Пять книг, каждая из которых открывает читателю новые грани окружающего мира

Maxim
Как включить счетчик ФПС в КС 2 Как включить счетчик ФПС в КС 2

Как поставить счетчик ФПС в КС 2 — только быстрые и рабочие способы

CHIP
Гендиректор ТМК ЭТЕРНО Денис Макиенко: «Мы строим новую компанию» Гендиректор ТМК ЭТЕРНО Денис Макиенко: «Мы строим новую компанию»

О том, почему ТМК ЭТЕРНО решила перестроить отлаженный бизнес

ФедералПресс
Над поверхностью Земли Над поверхностью Земли

Существует целое сообщество людей, которым открыто все небо

2Xplore
Деньги за идею: как и зачем технологические компании выходят на pre-IPO Деньги за идею: как и зачем технологические компании выходят на pre-IPO

Сколько технологическим компаниям удается зарабатывать на pre-IPO

Forbes
Влиять или не влиять? Влиять или не влиять?

Тест: свойственно ли вам злоупотреблять доверием окружающих и манипулировать?

Psychologies
Опорная схема: что привлекает инвестиции в региональную промышленность Опорная схема: что привлекает инвестиции в региональную промышленность

Что становится основными факторами роста промышленности в регионах

РБК
Парень молодой: лучшие фильмы про холостяков Парень молодой: лучшие фильмы про холостяков

Лучшие фильмы о тех, кто выбрал свободу от отношений

Правила жизни
Рынок жилья охлаждается, но неохотно Рынок жилья охлаждается, но неохотно

Квартирный рынок входит в этап развития, связанный с отменой льготной ипотеки

Монокль
Как договариваться всегда со всеми и обо всем: интервью с конфликтологом Как договариваться всегда со всеми и обо всем: интервью с конфликтологом

Как наладить семейные отношения и стать профессионалом в сфере конфликтологии?

РБК
Соленое тесто для поделок Соленое тесто для поделок

Что можно смастерить из соленого теста?

КАНТРИ Русская азбука
Только итальянцы? Вот как люди из разных стран используют жесты во время рассказа историй! Только итальянцы? Вот как люди из разных стран используют жесты во время рассказа историй!

Правда ли, что некоторые культуры жестикулируют больше, чем другие?

ТехИнсайдер
«Поводом к травле могло стать любое слово, жест, взгляд» «Поводом к травле могло стать любое слово, жест, взгляд»

История Катерины, которая много лет страдала от пробелов в памяти после травли

Psychologies
Не только привлечение внимания: 9 причин, почему взрослые устраивают истерики Не только привлечение внимания: 9 причин, почему взрослые устраивают истерики

Почему взрослые устраивают истерики и как правильно на это реагировать?

Psychologies
Чудеса системы Сатурна: два безумных океана Чудеса системы Сатурна: два безумных океана

Система Сатурна – настоящее собрание диковин и чудес

Наука и техника
Кто вы в треугольнике Карпмана? Кто вы в треугольнике Карпмана?

Тест: какая роль в треугольнике Карпмана свойственна вам?

Psychologies
Мир готовят к новой пандемии Мир готовят к новой пандемии

ВОЗ обновила список патогенов, способных вызвать очередную эпидемию

Монокль
Умножение делением Умножение делением

Безусловный базовый доход: почему он не станет билетом в безбедную жизнь

РБК
Открыть в приложении