Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Хроническую боль связали с работой ядерного транспортного белка Хроническую боль связали с работой ядерного транспортного белка

Над природой нейропатической боли врачи и ученые бьются уже долгое время

N+1
Подчинение авторитету Подчинение авторитету

Научный взгляд на власть и мораль

kiozk originals
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
Социальная сеть Социальная сеть

Как основатель Facebook заработал $4 млрд и приобрел 500 млн друзей

kiozk originals
Обожает бургеры и ненавидит себя без бороды: неожиданные факты о Джейми Дорнане Обожает бургеры и ненавидит себя без бороды: неожиданные факты о Джейми Дорнане

Джейми Дорнан — успешная модель в прошлом и популярный актер в будущем

Cosmopolitan
Лайфхаки для Windows: создаем идеальную систему Лайфхаки для Windows: создаем идеальную систему

Windows 10 хоть и далека от совершенства, но предлагает много возможностей

CHIP
Что эффективнее: работать быстрее или дольше? Что эффективнее: работать быстрее или дольше?

Вопрос тайм-менеджмента при нашей активной жизни всегда актуален

Psychologies
Лидеры едят последними Лидеры едят последними

Как создать команду мечты

kiozk originals
5 лучших способов похудеть, кроме посещения тренажерного зала 5 лучших способов похудеть, кроме посещения тренажерного зала

Можно прийти в форму и без абонемента

Playboy
Вторая попытка: тест Volkswagen Multivan T6.1 Вторая попытка: тест Volkswagen Multivan T6.1

Тест-драйв Volkswagen Multivan T6.1

Популярная механика
Краткая история времени Краткая история времени

От Большого взрыва до черных дыр

kiozk originals
Омолаживающие нити: какой эффект, кому нужны и мифы вокруг них — мнение эксперта Омолаживающие нити: какой эффект, кому нужны и мифы вокруг них — мнение эксперта

Самые популярные вопросы о нитях

Cosmopolitan
Дыба и кнут царевича Алексея Дыба и кнут царевича Алексея

Четыре месяца царь Пётр вел следствие, выбивая из сына показания пытками

Дилетант
Памела Андерсон, Ольга Шелест, Натали Портман и другие знаменитые вегетарианцы Памела Андерсон, Ольга Шелест, Натали Портман и другие знаменитые вегетарианцы

Самые яркие представители звездного веганского сообщества

Cosmopolitan
Mercedes-Benz представила прототип водородного грузовика Mercedes-Benz представила прототип водородного грузовика

Концерн Daimler представил тягач, работающий на водородных топливных элементах

N+1
Сохнет длина? 8 ошибок при выборе шампуня, которые ты наверняка совершаешь Сохнет длина? 8 ошибок при выборе шампуня, которые ты наверняка совершаешь

Выбор шампуня — задача не из легких, даже если ты уже знаешь свой тип волос

Cosmopolitan
Как избавиться от замкнутости: 7 способов разрушить психологические барьеры Как избавиться от замкнутости: 7 способов разрушить психологические барьеры

Сейчас расскажем, как похоронить застенчивость и забыть про стеснительность

Playboy
Оук — остров, где зарыт один из самых таинственных кладов на планете Оук — остров, где зарыт один из самых таинственных кладов на планете

Поиски клада идут уже 200 лет…

Maxim
Борец с незаконной торговлей рассказал о нападениях, поджоге машины и возвращении 90-х Борец с незаконной торговлей рассказал о нападениях, поджоге машины и возвращении 90-х

Интервью с активистом Александром Виноградовым

СНОБ
Фетиш невинности. Зачем говорить с детьми о сексе Фетиш невинности. Зачем говорить с детьми о сексе

Как фильм «Милашки» пытается начать важный разговор о сексуальных желаниях

СНОБ
История героического советского пловца Шаварша Карапетяна, который вытащил 46 человек из утонувшего троллейбуса История героического советского пловца Шаварша Карапетяна, который вытащил 46 человек из утонувшего троллейбуса

Пловец Шаварш Карапетян пожертвовал собственной карьерой ради спасения людей

Maxim
Как легально приобрести себе кусочек Луны Как легально приобрести себе кусочек Луны

Приобрести упавшие на Землю лунные метеориты реально, но стоить это будет дорого

Популярная механика
Судьбы главных красавиц: что стало с победительницами конкурса Судьбы главных красавиц: что стало с победительницами конкурса

Корона "Мисс России" не гарантирует счастья и успеха

Cosmopolitan
10 самых невероятных авиакатастроф в истории 10 самых невероятных авиакатастроф в истории

Мы не будем объяснять, почему именно эти катастрофы феноменальны

Maxim
5 ошибок в интерьере детской комнаты 5 ошибок в интерьере детской комнаты

Не воспроизводим собственные детские мечты и создаем пространство для ребенка

Psychologies
Кажется, революция Кажется, революция

Как захватить мир моды, не привлекая внимания санитаров?

Собака.ru
Если не Windows, то кто? Почему операционка Microsoft всех победила Если не Windows, то кто? Почему операционка Microsoft всех победила

История популярности самой ненавистной операционной системы в истории

Maxim
Илья Ильф Илья Ильф

Правила жизни писателя Ильи Ильфа

Esquire
«Сержант Пеппер» The Beatles больше не самый великий альбом всех времен «Сержант Пеппер» The Beatles больше не самый великий альбом всех времен

А также: Pink Floyd на десятки позиций ниже Beyonce, а Radiohead — в топ-20

Maxim
10 самых странных брачных ритуалов у животных 10 самых странных брачных ритуалов у животных

Брачные ритуалы животных бывают крайне странными для нашего восприятия

Популярная механика
Открыть в приложении