Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Одна против всех Одна против всех

Сериал «Литвиненко» демонстрирует, что за каждым героем стоит героиня

Дилетант
Фильму «Скажи ей» удается быть эмоциональным, но картина слишком манипулирует зрителем Фильму «Скажи ей» удается быть эмоциональным, но картина слишком манипулирует зрителем

Автобиографическая (мело)драма Александра Молочникова «Скажи ей».

GQ
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
Мудборд: студенческий стиль в фильмах про учебу Мудборд: студенческий стиль в фильмах про учебу

Несколько фильмов про учебу

Esquire
Китайский космоплан (или нет) вернулся на Землю через два дня после запуска Китайский космоплан (или нет) вернулся на Землю через два дня после запуска

Китайский многоразовый космический корабль совершил успешную посадку

N+1
«Воспитанные волками» — сериал Ридли Скотта о противостоянии андроидов и человечества, атеистов и верующих. Рассказываем, каким он получился «Воспитанные волками» — сериал Ридли Скотта о противостоянии андроидов и человечества, атеистов и верующих. Рассказываем, каким он получился

Что не так с sci-fi-сериалом про андроидов от режиссера «Чужого»

Esquire
Солнце, воздух и вода: три способа закаливания организма Солнце, воздух и вода: три способа закаливания организма

Какие методы закаливания бывают и как их правильно применять

Cosmopolitan
Гордость и гордыня: в чем между ними разница? Гордость и гордыня: в чем между ними разница?

Как определить, что именно мы испытываем — гордость или гордыню?

Psychologies
Практическая польза Практическая польза

Худрук «Практики» Марина Брусникина превратила интернет-пространство в сцену

Vogue
Золотое масло Золотое масло

Как выбрать качественный крем с аргановым маслом

Здоровье
Цивилизация Цивилизация

Чем Запад отличается от остального мира

kiozk originals
Почему мы подвержены аллергии Почему мы подвержены аллергии

Отрывок из книги Тима Спектора «Мифы о диетах»

СНОБ
Бесконечная ликвидация: как ювелирная сеть Sunlight заработала миллиарды на дешевых бриллиантах и стала интернет-мемом Бесконечная ликвидация: как ювелирная сеть Sunlight заработала миллиарды на дешевых бриллиантах и стала интернет-мемом

Сеть Sunlight в свое время совершила революцию на ювелирном рынке

Forbes
5 безумных идей для защиты природы, которые сработали 5 безумных идей для защиты природы, которые сработали

Как обманывать львов, браконьеров и саму Землю

Maxim
Названы памятники, которые уничтожит изменение климата Названы памятники, которые уничтожит изменение климата

Изменение климата коснется наших потомков и сотрет следы наших предков

Популярная механика
Почему свободные женщины ищут доминирующего мужчину Почему свободные женщины ищут доминирующего мужчину

В борьбе за равные права с мужчинами женщины начинают отрицать женственность

СНОБ
10 причин, почему инопланетяне не будут похожи на нас 10 причин, почему инопланетяне не будут похожи на нас

Выглядеть наши братья по разуму будут совсем иначе, чем люди

Популярная механика
Как подсознание работает на нас: 4 способа услышать его подсказки Как подсознание работает на нас: 4 способа услышать его подсказки

Что вы представляете, когда вам говорят о подсознании?

Psychologies
Мифы о финтехе: сколько можно заработать на «банках для миллениалов» Мифы о финтехе: сколько можно заработать на «банках для миллениалов»

Стоит ли верить мифам о финтехе?

Forbes
Юрий Власов собрал аккумулятор, который конкурирует с продуктами Tesla. Он дорого стоит и долго окупается. Примет ли его рынок? Юрий Власов собрал аккумулятор, который конкурирует с продуктами Tesla. Он дорого стоит и долго окупается. Примет ли его рынок?

История стартапа Юрия Власова Watts Battery

Inc.
Надписи на черепках рассказали о грамотности воинов Иудейского царства Надписи на черепках рассказали о грамотности воинов Иудейского царства

В Иудее на рубеже VII–VI веков до нашей эры была развитая система образования

N+1
В работу с головой В работу с головой

Паттерны успеха от IT-специалиста

kiozk originals
9 сумасшедших фактов о фильме «Пролетая над гнездом кукушки» 9 сумасшедших фактов о фильме «Пролетая над гнездом кукушки»

Поговорим о фильме про гнездо кукушки

Maxim
Таможня отбирает добро: 12 провалов контрабандистов Таможня отбирает добро: 12 провалов контрабандистов

Опытный таможенник даже тюбик зубной пасты открывает с большой осторожностью

Maxim
Для тех, кто не любит погорячее: что делать при тепловом ударе Для тех, кто не любит погорячее: что делать при тепловом ударе

Иногда «мозги кипят» – это не просто фигуральное выражение

Cosmopolitan
15 вопросов о снижении веса 15 вопросов о снижении веса

Мы собрали самые актуальные вопросы, волнующие людей, сидящих на диете

Лиза
Человек стали: как Генри Бессемер перевернул металлургию Человек стали: как Генри Бессемер перевернул металлургию

А что если ген изобретательства действительно существует?

Популярная механика
Вспомнить все: почему мы забываем наши сны Вспомнить все: почему мы забываем наши сны

Забывать сны - это нормально. Но почему!?

Популярная механика
Эти гениальные птицы Эти гениальные птицы

Лабораторные и полевые исследования когнитивных способностей птиц

kiozk originals
Эссенциализм Эссенциализм

Путь к простоте

kiozk originals
Открыть в приложении