Нейросеть — это программа, поведение которой определяется коэффициентами

Цифровой океанHi-Tech

Темная лошадка

Текст: Екатерина Пономаренко

* Language Processing Unit, или языковой процессор. Предназначен для обсчета языковых моделей, например GPT-4.

Как работает языковая модель

Играть на фортепиано очень просто: надо лишь нажимать на нужные клавиши в нужный момент. Так и с искусственным интеллектом: нужно всего-то выполнить нужные преобразования с нужными коэффициентами.

Нейросеть — это компьютерная программа, поведение которой определяется значениями ряда числовых параметров (их также называют коэффициентами). Коэффициентов в современных моделях ИИ невероятно много. Их число измеряется миллиардами, а в последней версии GPT-4 количество коэффициентов достигает 1,76 триллиона. Разработчик ИИ задает количество и параметры нейронных слоев, а компьютер подбирает нужные коэффициенты по алгоритму машинного обучения. Этот алгоритм построен на методе проб и ошибок: модель получает входные данные и оценивает полученный результат. Опираясь на величину ошибки, компьютер вносит коррективы в коэффициенты, после чего цикл повторяется заново. Если в процессе обучения удается достичь хороших результатов — коэффициенты фиксируются и модель передают в использование. На этом процесс обучения нейросети (собственно, подбора коэффициентов) считается завершенным.

Во время практического использования ИИ, например общения с ChatGPT или генерации изображений в Midjourney, коэффициенты уже не меняются, иначе гарантировать стабильность результатов было бы невозможно. Как в человеческом мозге нейроны с похожими функциями образуют целые слои нервной ткани, так и в компьютерных нейросетях численные преобразования собираются в последовательные слои. Для удобства слои разделяются на два вида. Первый вид — слои с многомерными матрицами чисел, или тензорами, выражающими линейные преобразования. Второй вид — слои с нелинейными преобразованиями, которые помогают модели выразить более сложные взаимосвязи, но сами по себе довольно просты и не содержат коэффициентов.

Тензоры — это не просто таблицы с числами. Сложение и умножение тензоров происходит по определенным математическим законам, которые позволяют разделять вычисления на множество независимых потоков. Чем эффективнее построен обсчет тензорных операций, тем быстрее работа нейросети. При этом наносекунды, выигранные на логистике данных или синхронизации потоков вычислений, складываются в секунды ожидания пользователем ответа чат-бота, в минуты одного цикла обучения, дни и недели полного обучения нейронки. Решающую роль в этом играют процессоры.

В этой конфигурации чип Groq был добавлен на испытательный стенд Аргонской национальной  лаборатории

Чем отличаются CPU и GPU

Самые первые ЭВМ не были рассчитаны на интерактивное взаимодействие: программист подавал на вход пачку перфокарт, ждал какое-то время и получал результат расчета. Такие машины использовались для нахождения интегралов, расчета баллистических таблиц и решения других сложных вычислительных задач. Когда появились клавиатура, мышь и другие периферийные устройства для ввода информации, процессоры пришлось адаптировать под более гибкую работу.

Так внутри центральных процессоров (CPU) появились дополнительные модули, такие как кэш памяти нескольких уровней, высокопропускная шина данных, маршрутизаторы. Дирижирование этими компонентами и синхронизация процессов обеспечивается на уровне «железа». Это упрощает разработку обычных программ и обеспечивает для них быстродействие, но делает время выполнения любой операции непредсказуемым.

В течение многих лет CPU занимались всеми расчетами от положения курсора на экране до орбитальной траектории МКС, и небольшие проволочки с их стороны никого не смущали. Но когда появилась необходимость совершать огромное количество простых математических операций подряд, задержки стали накапливаться и мешать пользователям. Особенно заметно это стало в середине 1990-х в период бурного роста игровой индустрии. Возможностей CPU стало не хватать для рендеринга — отрисовки кадров для 3D-игр. Рендеринг строится на физических законах оптики и проективной геометрии: линейное движение света, проекция на плоскую пленку объемного изображения и так далее. И все эти расчеты описываются двумерными матрицами чисел.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первенцы Вселенной Первенцы Вселенной

Какими были древнейшие звезды, появившиеся после Большого взрыва

Наука
7 способов поддержать друга в кризисной ситуации 7 способов поддержать друга в кризисной ситуации

Как помочь близкому человеку пережить трудный период?

Psychologies
Платон, синхротрон и миллионы долларов Платон, синхротрон и миллионы долларов

Нечитаемые свитки из Геркуланума наконец-то смогли прочитать, не разворачивая

Цифровой океан
«Папа Урбан II на площади Клермона проповедует первый крестовый поход» «Папа Урбан II на площади Клермона проповедует первый крестовый поход»

Картина Франческо Айеца, на которой запечатлено начало крестовых походов

Дилетант
След тигра След тигра

Как складывается судьба проекта «Амурский тигр»

Вокруг света
Обмен дарами: почему мы так нуждаемся в отношениях Обмен дарами: почему мы так нуждаемся в отношениях

Почему мы нуждаемся друг в друге и как закрепить значимые для нас связи?

Psychologies
«Наша задача — создавать выгодные и простые сервисы для клиентов «Наша задача — создавать выгодные и простые сервисы для клиентов

Какие технологии нужны розничным клиентам?

Деньги
Кто я, если не я Кто я, если не я

«Я не киллер»: Ричард Линклейтер о 1990-х и кризисе самоидентификации

Weekend
Узнайте правила мафиози! «Омерта»: кодекс молчания, которым пользуется мафия Италии Узнайте правила мафиози! «Омерта»: кодекс молчания, которым пользуется мафия Италии

Что такое «омерта»? Почему её так отчаянно эксплуатирует мафия?

ТехИнсайдер
Суда пришли Суда пришли

Где бросить якорь нынешним летом? Держите курс на Восток

RR Люкс.Личности.Бизнес.
Любовь не помеха: почему люди изменяют даже в счастливых отношениях — 6 обидных причин Любовь не помеха: почему люди изменяют даже в счастливых отношениях — 6 обидных причин

Почему измена происходит даже в семьях, где супруги по-настоящему счастливы?

Psychologies
Семь советов родителям Семь советов родителям

Как приучить ребёнка к правильному питанию, чтобы он получал всё необходимое?

Здоровье
8 случаев внезапных смертей глав государств 8 случаев внезапных смертей глав государств

Президенты, умершие насильственной смертью или в результате несчастных случаев

Maxim
Покупаем бэушное авто: как понять, что мотор жрет масло Покупаем бэушное авто: как понять, что мотор жрет масло

По каким признакам пронять, что автомобиль расходует много моторного масла?

ТехИнсайдер
8 грубейших ошибок во время глажки белья, которые допускают все без исключения: узнайте, что портит ваши вещи 8 грубейших ошибок во время глажки белья, которые допускают все без исключения: узнайте, что портит ваши вещи

Как не стоит гладить белье, если вы не хотите испортить ткань и свое настроение

ТехИнсайдер
Признаки нездоровых отношений: как отследить их вовремя Признаки нездоровых отношений: как отследить их вовремя

Как понять, что общение с партнером начало причинять реальный вред?

Psychologies
Дядя честных правил Дядя честных правил

«Дядя Леша»: Юрий Деточкин нового времени

Weekend
Прощай, молодость: что такое кризис среднего возраста и как с ним справиться Прощай, молодость: что такое кризис среднего возраста и как с ним справиться

Как проявляется кризис среднего возраста и что поможет его пережить

Forbes
Какие продукты делают друг друга еще полезнее Какие продукты делают друг друга еще полезнее

Что такое «пищевая синергия» и как воспользоваться ей по максимуму

Maxim
Сила граната: природное соединение в его составе может помочь в лечении болезни Альцгеймера Сила граната: природное соединение в его составе может помочь в лечении болезни Альцгеймера

Гранат может улучшить память и сделать лечение болезни Альцгеймера эффективнее

ТехИнсайдер
Храп Храп

Как говорят специалисты, «звуковой феномен» храпа не является  болезнью

Здоровье
«Я думала, что никогда не сделаю аборт»: отрывок из романа о разрушающем чувстве вины «Я думала, что никогда не сделаю аборт»: отрывок из романа о разрушающем чувстве вины

Отрывок из повести Клаудии Пиньейро «Элена знает»

Forbes
Облегчение не в радость: почему падает загрузка сети РЖД Облегчение не в радость: почему падает загрузка сети РЖД

Погрузка сети РЖД снижается уже более полугода. Основные причины

Forbes
6-летняя девочка делает макияж в детский сад: как поколение альфа рискует травмировать себя 6-летняя девочка делает макияж в детский сад: как поколение альфа рискует травмировать себя

Почему поколение альфа так одержимо макияжем и чем это может им навредить?

Psychologies
Я — сноб: писатель Шамиль Идиатуллин Я — сноб: писатель Шамиль Идиатуллин

Писатель Шамиль Идиатуллин — о своем романе и режиме «можно, в принципе»

СНОБ
Российский турист побывал в КНДР и рассказал о 5 странностях, которые повергли его в шок Российский турист побывал в КНДР и рассказал о 5 странностях, которые повергли его в шок

Что вас точно удивит в Северной Корее

Maxim
Александр Пиперски: «Нейросети взломали систему человеческой коммуникации» Александр Пиперски: «Нейросети взломали систему человеческой коммуникации»

Как мы будем обмениваться информацией в век новых технологий

РБК
Как проверить стартер на работоспособность в домашних условиях Как проверить стартер на работоспособность в домашних условиях

Все о проверке стартера: признаки неисправности и способы ремонта

РБК
Человек с большой цифры Человек с большой цифры

Как технологии лишают нас сна, памяти, эмпатии и отучают знакомиться

Men Today
Грузия сумела сказать «нет» Западу Грузия сумела сказать «нет» Западу

Какое будущее выбрали для страны нынешние грузинские политические элиты

Монокль
Открыть в приложении