Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Новый взгляд на свёклу и мангольд Новый взгляд на свёклу и мангольд

Столовая свёкла признана одной из самых полезных овощных культур

Наука и жизнь
Принципы здоровых зубов Принципы здоровых зубов

Почему полость рта нуждается в тщательном уходе

Здоровье
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
Как пьют шнапс: история и способы употребления крепкого фруктового напитка Как пьют шнапс: история и способы употребления крепкого фруктового напитка

Подробный рассказ об истории, технологии приготовления и том, как пьют шнапс

Playboy
Как обустроить балкон: советы от дизайнеров интерьера Как обустроить балкон: советы от дизайнеров интерьера

Лайфхаки для тех, кто хочет обустроить на балконе жилое пространство, а не шкаф

Cosmopolitan
Талант или упорный труд? Разбираемся, что важнее для твоей карьеры Талант или упорный труд? Разбираемся, что важнее для твоей карьеры

Стоит ли завидовать одаренным людям?

Cosmopolitan
Сила мифа Сила мифа

Что такое архетипы и почему некоторые фильмы и книги становятся популярными

kiozk originals
Состояние почтового ящика может многое рассказать о личности человека, уверены психологи Состояние почтового ящика может многое рассказать о личности человека, уверены психологи

Три основных стиля ведения электронной почты с точки зрения психологов

Inc.
«Правила мертвы». Глава Netflix рассказал о главных уроках, которые бизнес должен извлечь из кризиса «Правила мертвы». Глава Netflix рассказал о главных уроках, которые бизнес должен извлечь из кризиса

Глава Netflix объясняет успех компании отказом от бюрократии

Inc.
Азиатская модель управления Азиатская модель управления

Удачи и провалы самого динамичного региона в мире

kiozk originals
Карьерное самоубийство: три главные ошибки гендиректоров, которые приводят к увольнению Карьерное самоубийство: три главные ошибки гендиректоров, которые приводят к увольнению

Как вести себя, чтобы продержаться в заветном кресле как можно дольше

Forbes
Истории внутри нас Истории внутри нас

Истории о женском теле и здоровье от победительниц конкурса #ИсторииVнутриНас

Grazia
Впервые выделен геном оригинального источника пенициллина Впервые выделен геном оригинального источника пенициллина

Ученые открыли генетический код плесени, благодаря которой создаются антибиотики

Популярная механика
Ложь и провокация: самые популярные лже-истории, в которые поверили миллионы Ложь и провокация: самые популярные лже-истории, в которые поверили миллионы

Прощальное письмо Маркеса, напутствие от Мерил Стрип и другие фейки

Cosmopolitan
Игра в молчанку Игра в молчанку

Что такое синдром FOSO и как с ним жить

GQ
5 ошибок в интерьере детской комнаты 5 ошибок в интерьере детской комнаты

Не воспроизводим собственные детские мечты и создаем пространство для ребенка

Psychologies
Пять телесных проявлений депрессии Пять телесных проявлений депрессии

Мы привыкли, что депрессия – это прежде всего о душе, но ещё и о теле

Здоровье
Структура научных революций Структура научных революций

Новаторский анализ научного развития

kiozk originals
Планета вирусов Планета вирусов

Бывают ли полезные вирусы и без чего они не могут существовать

kiozk originals
Пограничное состояние: 7 маршрутов, куда Родина-мать зовет Пограничное состояние: 7 маршрутов, куда Родина-мать зовет

Наверстаем пробелы в курсе отечественной географии

Playboy
Доставляя счастье Доставляя счастье

От нуля до миллиарда: история создания выдающейся компании из первых рук

kiozk originals
Глава из книги Джона Скальци «В клетке. Вирус. Напролом» Глава из книги Джона Скальци «В клетке. Вирус. Напролом»

Впервые на русском языке выходит трилогия научного фантаста Джона Скальци

СНОБ
Самые странные автомобильные законы Северной и Южной Америки Самые странные автомобильные законы Северной и Южной Америки

Иногда дорожные законы настолько нелепы, что не имеют никакого смысла

Популярная механика
Вредно ли слушать музыку в наушниках: исследования ученых Вредно ли слушать музыку в наушниках: исследования ученых

Действительно ли прослушивание музыки ухудшает слух и что с этим делать?

РБК
Как советский летчик подарил США секретный самолет-перехватчик: история самого громкого авиаугона времен холодной войны Как советский летчик подарил США секретный самолет-перехватчик: история самого громкого авиаугона времен холодной войны

История советского летчика-перебежчика, повлиявшая на историю военной авиации

Maxim
Тест-драйв Porsche Panamera GTS Sport Turismo Тест-драйв Porsche Panamera GTS Sport Turismo

Этот автомобиль — фактически первый «универсал» от Porsche

СНОБ
Нам всем нужен феминизм Нам всем нужен феминизм

Дискуссия о равенстве полов

kiozk originals
Почему Александр Лукашенко ошибся со сценарием инаугурации Почему Александр Лукашенко ошибся со сценарием инаугурации

Глупо было устраивать такую инаугурацию, как у Лукашенко

СНОБ
(Не)Совершенная случайность (Не)Совершенная случайность

Как случай управляет нашей жизнью

kiozk originals
10 способов визуально уменьшить поры — советы дерматологов 10 способов визуально уменьшить поры — советы дерматологов

10 самых простых и эффективных рекомендаций, как визуально уменьшить поры

Cosmopolitan
Открыть в приложении