Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Замужем и счастлива — я одна такая?»: как построить и сохранить крепкие отношения «Замужем и счастлива — я одна такая?»: как построить и сохранить крепкие отношения

Почему женщины боятся вступать в брак?

Psychologies
Мозг и жизнь Мозг и жизнь

Наталья Петровна Бехтерева: открытия главного и загадочного нейрофизиолога

Собака.ru
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Секс — мощное оружие маркетинга: жесткая диктатура длинных ног и коротких половых связей Секс — мощное оружие маркетинга: жесткая диктатура длинных ног и коротких половых связей

Почему быть сексуальным и иметь половую жизнь — это показатель престижа?

Psychologies
Что будет, если молния попадет в автомобиль? Что будет, если молния попадет в автомобиль?

Чем грозит разряд электричества небесной канцелярии машине и водителю.

Maxim
Катастрофа на озере Ниос: как токсичная вода за ночь унесла жизни 1746 африканцев Катастрофа на озере Ниос: как токсичная вода за ночь унесла жизни 1746 африканцев

Трагедия на озере Ниос: что произошло с обычным водоемом в тот жуткий день?

ТехИнсайдер
Куда уходят кадры: проблема «атомных городов» Куда уходят кадры: проблема «атомных городов»

Как обстоит ситуация с привлечением сотрудников в «атомных» ЗАТО

ФедералПресс
Вы невнимательны, и это совершенно нормально. Почему? Вы невнимательны, и это совершенно нормально. Почему?

С возрастом мы теряем способность к концентрации внимания. В чем же причина?

Psychologies
Безопасно ли есть горячую еду, которую привезли холодной? Объясняют эксперты Безопасно ли есть горячую еду, которую привезли холодной? Объясняют эксперты

Остывшие готовые блюда могут быть действительно опасны для здоровья

VOICE
Новая реальность морских сражений Новая реальность морских сражений

Назначение БЭКов и особенности боевого применения

Обозрение армии и флота
«И Канье приедет»: что происходит с русской музыкой и что с ней будет дальше? «И Канье приедет»: что происходит с русской музыкой и что с ней будет дальше?

Почему музыкальные жанры окончательно размылись и за чем идет слушатель

Правила жизни
6 фаз отношений с нарциссом 6 фаз отношений с нарциссом

Какого сценария придерживаются в отношениях люди-нарциссы?

Psychologies
Точка опоры Точка опоры

Мифов о позвоночнике сложено немало, разбираем самые живучие из них

Лиза
Заполнить униформу Заполнить униформу

Как армейские куртки стали инструментом борьбы с системой

Правила жизни
Лисички: почему самый хитрый гриб никогда не бывает червивым Лисички: почему самый хитрый гриб никогда не бывает червивым

Что такого опасного содержится в лисичках, что червяки отказываются их есть?

ТехИнсайдер
В России представили новый кроссовер «Москвич 8»: все подробности В России представили новый кроссовер «Москвич 8»: все подробности

Кроссовер «Москвич 8»: все подробности об этом автомобиле

РБК
Что делать, если вы считаете себя абьюзером: 4 совета Что делать, если вы считаете себя абьюзером: 4 совета

Как понять, являетесь вы абьюзером или нет?

Psychologies
7 практик для замедления и осознанности на каждый день 7 практик для замедления и осознанности на каждый день

Практики, которые помогут сделать размеренность естественной частью жизни

Psychologies
Лазерные фары уходят: что не так с технологией, которая должна была «произвести революцию» Лазерные фары уходят: что не так с технологией, которая должна была «произвести революцию»

Почему автопроизводители тихо убирают модели с лазерными фарами?

ТехИнсайдер
Переплыть Амазонку и Ла-Манш: самые экстремальные заплывы в истории Переплыть Амазонку и Ла-Манш: самые экстремальные заплывы в истории

О пяти самых экстремальных заплывах в истории человечества

ТехИнсайдер
Глава минпромторга Красноярского края: «Инвестиции растут на 25% в год» Глава минпромторга Красноярского края: «Инвестиции растут на 25% в год»

Красноярский край реализует инвестпроекты на триллионы рублей

ФедералПресс
Врагу не пожелаешь! Вот почему люди впадают в кому: интересные факты Врагу не пожелаешь! Вот почему люди впадают в кому: интересные факты

Кома — одно из самых загадочных и сложных состояний глубокой потери сознания

ТехИнсайдер
«Декамерон»: почему у Netflix не получилось придать Боккаччо современности «Декамерон»: почему у Netflix не получилось придать Боккаччо современности

Почему юмор Боккаччо создателям «Декамерона» сохранить скорее удалось

Forbes
«Если ко мне не будут приставать, как я пойму, чего стою?»: почему женщины зависимы от (любого) мужского внимания «Если ко мне не будут приставать, как я пойму, чего стою?»: почему женщины зависимы от (любого) мужского внимания

Психолог рассказывает о культурных предписаниях, которые давно пора пересмотреть

Psychologies
Телескоп горизонта событий достиг рекордно большой точности наблюдений Телескоп горизонта событий достиг рекордно большой точности наблюдений

Как провели наземные наблюдения за квазарами с большим угловым разрешением

N+1
И на стволах растут плоды И на стволах растут плоды

Одни фрукты, висят на ветвях, а другие забрались на стволы. Интересно, зачем?

Наука и жизнь
Шефы XXI века Шефы XXI века

На кухнях ресторанов все чаще можно встретить молодых шеф-поваров

Bones
Айсен Николаев о векторе развития республики Саха: «Экономический рост должен улучшать жизнь людей» Айсен Николаев о векторе развития республики Саха: «Экономический рост должен улучшать жизнь людей»

Якутия поражает темпами социального и экономического развития

ФедералПресс
Сколько зарабатывает дальнобойщик и как им стать Сколько зарабатывает дальнобойщик и как им стать

Как стать дальнобойщиком и сколько он зарабатывает, выяснил Autonews.ru

РБК
Бесчеловечный флот Америки Бесчеловечный флот Америки

Основные программы в области создания надводных роботизированных систем ВМС США

Обозрение армии и флота
Открыть в приложении