Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Изменяют цвет глаз и лишают зрения: чем опасны средства для роста ресниц Изменяют цвет глаз и лишают зрения: чем опасны средства для роста ресниц

Все хотят иметь длинные, пушистые и темные ресницы

Cosmopolitan
Что мужчина должен делать по дому: 25 основных обязанностей Что мужчина должен делать по дому: 25 основных обязанностей

Советы по разделению рутинных работ по дому

Playboy
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
Теория малых дел Теория малых дел

С чего начать дизайн маленькой квартиры и как не наделать ошибок?

AD
Операция «Преемник» по-римски Операция «Преемник» по-римски

Октавиан установил новые правила передачи власти

Дилетант
12 фильмов о художниках и скульпторах, которые вдохновляют 12 фильмов о художниках и скульпторах, которые вдохновляют

Вдруг в вашей жизни не хватает искусства

GQ
Очереди в мастерскую, неземные краски и сделка с дьяволом Очереди в мастерскую, неземные краски и сделка с дьяволом

Тайна создания и судьба картины Архипа Куинджи «Лунная ночь на Днепре»

Культура.РФ
Смотри в оба: какие цвета человек никогда не увидит Смотри в оба: какие цвета человек никогда не увидит

Вы никогда не увидите красновато-зеленый и желтовато-синий цвета

Популярная механика
Прочтите фрагмент нового романа Бориса Акунина Прочтите фрагмент нового романа Бориса Акунина

Отрывок из нового исторического детектива Бориса Акунина

GQ
Весело шагая: 7 крутых лестниц Весело шагая: 7 крутых лестниц

На подъеме: самые красивые лестницы в мире

Вокруг света
«Долой Баффета, теперь я ваш папа!»: почему финтех-стартап Robinhood может стать дорогой в никуда для миллионов инвесторов «Долой Баффета, теперь я ваш папа!»: почему финтех-стартап Robinhood может стать дорогой в никуда для миллионов инвесторов

Стартап Robinhood уже привлек на фондовый рынок миллионы непрофессионалов

Forbes
6 новых фотографий глубокого космоса от NASA 6 новых фотографий глубокого космоса от NASA

Эти картинки — не только красивые обои не телефон, но и ценнейшие научные данные

Maxim
Пес с тобой Пес с тобой

Лучший друг человека может быть и лучшим фитнес-тренером

GQ
Да ты сухарь! Да ты сухарь!

Как понять, что твой партнер тебя любит, если он не проявляет свои чувства

Лиза
Трафик Трафик

Психология поведения на дорогах

kiozk originals
Идем в школу: как улучшить память и внимание Идем в школу: как улучшить память и внимание

Зная, как работает мозг, можно добиться от него удивительных результатов

Популярная механика
Правила жизни двоечников Правила жизни двоечников

Двоечники нужны, чтобы отличникам жилось лучше и учителя не путались

Esquire
Войны мерча: какую роль в президентской кампании играют сувениры Войны мерча: какую роль в президентской кампании играют сувениры

На Западе история президентского мерча перешагнула вековой рубеж

GQ
Великое вырождение Великое вырождение

Как разрушаются институты и гибнут государства

kiozk originals
Тина Канделаки: «Чтобы хорошо выглядеть, много денег не надо» Тина Канделаки: «Чтобы хорошо выглядеть, много денег не надо»

Тина Канделаки о своём отношении к возрасту и об умении быть молодой и красивой

Здоровье
«Полюбила себя, когда похудела: почему бодипозитив мне кажется обманом» «Полюбила себя, когда похудела: почему бодипозитив мне кажется обманом»

Наша читательница поделилась историей о непростых отношениях с собственным телом

Psychologies
Религия для диктатора. В чем состоит кредо Лукашенко Религия для диктатора. В чем состоит кредо Лукашенко

Символ веры, общий для несменяемых властителей на постсоветском пространстве

СНОБ
С чистого холста С чистого холста

Интерьер для художницы, где может жить искусство

AD
Сломанные цветы: как мы возвращаемся к природе Сломанные цветы: как мы возвращаемся к природе

С чем связан новый тренд возвращения к природе

РБК
Молодо-зелено Молодо-зелено

Зачем косметологу знать, что вы веган или вегетарианец?

Tatler
Биологи разобрались в механизме возбуждения нейронов предрасположенных к шизофрении пациентов Биологи разобрались в механизме возбуждения нейронов предрасположенных к шизофрении пациентов

Нейроны пациентов с делецией 22 хромосомы возбуждаются чаще обычных клеток

N+1
Как русские семь лет подслушивали американцев в посольстве США с помощью «подарка» Как русские семь лет подслушивали американцев в посольстве США с помощью «подарка»

Эндовибратор — устройства для прослушки, не требующего источника питания

Maxim
Роман с тираном и откровенные фото: победы и поражения Марины Александровой Роман с тираном и откровенные фото: победы и поражения Марины Александровой

Самые интересные моменты из жизни талантливой актрисы Марины Александровой

Cosmopolitan
Недоверчивые умы Недоверчивые умы

Чем нас привлекают теории заговоров

kiozk originals
9 сумасшедших фактов о фильме «Пролетая над гнездом кукушки» 9 сумасшедших фактов о фильме «Пролетая над гнездом кукушки»

Поговорим о фильме про гнездо кукушки

Maxim
Открыть в приложении