Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Грибные темы Грибные темы

Используют ли грибы иначе, кроме как в пищу? Разберемся вместе с микологами

Вокруг света
Как худеть после родов и сколько калорий вы тратите, пока кормите грудью? Как худеть после родов и сколько калорий вы тратите, пока кормите грудью?

Ваш главный тренер и диетолог перед вами — это ваш ребенок

9 месяцев
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
Как избавиться от замкнутости: 7 способов разрушить психологические барьеры Как избавиться от замкнутости: 7 способов разрушить психологические барьеры

Сейчас расскажем, как похоронить застенчивость и забыть про стеснительность

Playboy
Что выдает мужчину-невротика? Рассуждает Михаил Лабковский Что выдает мужчину-невротика? Рассуждает Михаил Лабковский

Как распознать мужчину с неврозом и избежать токсичных отношений с ним

Cosmopolitan
Взломанная Взломанная

Насколько защищена "умная" кофемашина?

Популярная механика
Фон для портретов дам Фон для портретов дам

Екатерина Шульман о том, чего не понимают современные люди в романах Джейн Остен

Weekend
Как читать книги Как читать книги

Руководство по чтению великих произведений

kiozk originals
Цивилизация с нуля Цивилизация с нуля

Что нужно знать и уметь, чтобы выжить после всемирной катастрофы

kiozk originals
Ученые открыли новый биомаркер расстройств аутистического спектра у дошкольников Ученые открыли новый биомаркер расстройств аутистического спектра у дошкольников

Выявлена взаимосвязь между РАС и концентрацией одного из белков в плазме крови

N+1
Игра в молчанку Игра в молчанку

Что такое синдром FOSO и как с ним жить

GQ
9 явлений, которые никогда не увидит глаз, но которые можно сфотографировать 9 явлений, которые никогда не увидит глаз, но которые можно сфотографировать

Собрали в одном месте все то, что не видят наши глупые глаза

Maxim
Великая западная схизма: трое пап на один Рим Великая западная схизма: трое пап на один Рим

Великая западная схизма — период раскола в Римско-католической церкви

Weekend
10 грандиозных объектов, которые построили, чтобы затем сломать 10 грандиозных объектов, которые построили, чтобы затем сломать

Удивительные объекты, срок жизни которых не достиг и нескольких лет

Популярная механика
5 самых больших буровых установок: нефтегазовые колоссы 5 самых больших буровых установок: нефтегазовые колоссы

Буровые платформы - Гулливеры, в сравнении с которыми суда кажутся лилипутами

Популярная механика
9 самых популярных памятников архитектуры, которые поначалу считали уродливыми 9 самых популярных памятников архитектуры, которые поначалу считали уродливыми

Оказывается, когда-то признанные архитектурные памятники подвергались гонениям

Maxim
Естественный отбор Естественный отбор

Матильда Шнурова о своих новых проектах

OK!
«Секс-игрушка из Парижа»: вибратор стал секретным талисманом принцессы Дианы «Секс-игрушка из Парижа»: вибратор стал секретным талисманом принцессы Дианы

Принцесса Диана брала в заграничные поездки гаджет из секс-шопа

Cosmopolitan
Запах актинобактерий подсказал муравьям благоприятное место для колонии Запах актинобактерий подсказал муравьям благоприятное место для колонии

Тонкости отношения красных огненных муравьев, бактерий и грибков

N+1
Илон Маск Илон Маск

Tesla, SpaceX и дорога в будущее

kiozk originals
Тина Канделаки: «Чтобы хорошо выглядеть, много денег не надо» Тина Канделаки: «Чтобы хорошо выглядеть, много денег не надо»

Тина Канделаки о своём отношении к возрасту и об умении быть молодой и красивой

Здоровье
Как действует музыка Как действует музыка

Рождение гармонии из конфликта обстоятельств и творчества

kiozk originals
«Вар! Верни легионы!» «Вар! Верни легионы!»

Одно из самых унизительных поражений римской армии

Дилетант
Как поймать идеальный момент для продажи доли в компании: сценарии и риски Как поймать идеальный момент для продажи доли в компании: сценарии и риски

Как помочь команде кратно вырасти и в какой момент ее оставить

Forbes
«Люди не знают, что такое инвалидность»: Сэмми Джабраиль о жизни с протезом и детстве в Дагестане «Люди не знают, что такое инвалидность»: Сэмми Джабраиль о жизни с протезом и детстве в Дагестане

Как в России относятся к людям с инвалидностью?

Forbes
Мясо Мясо

Eating animals

kiozk originals
Каким получился сериал Романа Волобуева «Просто представь, что мы знаем» Каким получился сериал Романа Волобуева «Просто представь, что мы знаем»

Кинокритик о сериале Романа Волобуева «Просто представь, что мы знаем»

РБК
Какого цвета ваш парашют? Какого цвета ваш парашют?

Практическое руководство для тех, кто ищет работу или хочет ее сменить

kiozk originals
Думай и богатей Думай и богатей

Золотые правила успеха

kiozk originals
Френдзона Френдзона

Журналист Латиф Нассер попытался разобраться в судьбе другого Латифа Нассера

Esquire
Открыть в приложении