Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

На Большом адронном коллайдере увидели редкий распад бозона Хиггса на два мюона На Большом адронном коллайдере увидели редкий распад бозона Хиггса на два мюона

Полученные данные совпали с предсказаниями Стандартной модели

N+1
Внутренняя инженерия Внутренняя инженерия

Путь к радости. Практическое руководство от йога

kiozk originals
Кормилица королевы Виктории убила шестерых собственных детей Кормилица королевы Виктории убила шестерых собственных детей

В 1854 году Мэри Энн Бро посреди ночи перерезала горло собственным детям

Cosmopolitan
10 необычных Porsche 10 необычных Porsche

Говорим о нестандартных Porsche

Популярная механика
Нарушение обмена веществ: почему растет вес и портится кожа Нарушение обмена веществ: почему растет вес и портится кожа

Как понять, что с обменом веществ начались проблемы, и что делать потом?

Cosmopolitan
Аллергия на кошек: что делать, чтобы не расставаться с пушистым другом Аллергия на кошек: что делать, чтобы не расставаться с пушистым другом

Как жить одновременно с кошкой и аллергией на кошек?

Cosmopolitan
Когда гений и злодейство cовместимы Когда гений и злодейство cовместимы

Унести из телевизионной студии чемодан с деньгами? Не так-то просто

Playboy
Никогда не ешьте в одиночку Никогда не ешьте в одиночку

Правила нетворкинга, которые работают

kiozk originals
12 простых и эффективных упражнений для красивой осанки 12 простых и эффективных упражнений для красивой осанки

Комплекс упражнений, которые вернут красивую осанку

РБК
Яблочная диета Яблочная диета

Яблочный рацион – отличный способ похудеть и запастись витаминами

Лиза
Часики тикают Часики тикают

Знакомьтесь: звезда TikTok и Instagram Лиза Анохина

Vogue
Братья Райт Братья Райт

Люди, которые научили мир летать

kiozk originals
Эйнштейн Эйнштейн

Его жизнь и его Вселенная

kiozk originals
Правила жизни Агаты Кристи Правила жизни Агаты Кристи

Агата Кристи: «Война не решает никаких проблем»

Esquire
Танец-вспышка Танец-вспышка

Справиться с раком груди Наталье Синдеевой помогло аргентинское танго

Tatler
Nudge. Архитектура выбора Nudge. Архитектура выбора

Как улучшить наши решения о здоровье, благосостоянии и счастье

kiozk originals
«Чанъэ-4» измерила уровень радиации на поверхности Луны «Чанъэ-4» измерила уровень радиации на поверхности Луны

Благодаря эксперименту впервые измерен уровень радиации в зависимости от времени

N+1
Девелопер из расследования об утечке из финразведки США Павел Фукс объяснил перевод $1 млн в адрес бывшего вице-мера Москвы Девелопер из расследования об утечке из финразведки США Павел Фукс объяснил перевод $1 млн в адрес бывшего вице-мера Москвы

Девелопер Павел Фукс одолжил бывшему вице-мэру Москвы Иосифу Орджоникидзе $1 млн

Forbes
Фильму «Скажи ей» удается быть эмоциональным, но картина слишком манипулирует зрителем Фильму «Скажи ей» удается быть эмоциональным, но картина слишком манипулирует зрителем

Автобиографическая (мело)драма Александра Молочникова «Скажи ей».

GQ
«Полюбила себя, когда похудела: почему бодипозитив мне кажется обманом» «Полюбила себя, когда похудела: почему бодипозитив мне кажется обманом»

Наша читательница поделилась историей о непростых отношениях с собственным телом

Psychologies
Моя прелесть Моя прелесть

Удовольствие не является достойной целью. К чему же нам стремиться?

Playboy
Военные и смешные: самая чудная форма армий мира Военные и смешные: самая чудная форма армий мира

Как выглядит военная форма в разных странах мира?

Maxim
Как привести дела в порядок Как привести дела в порядок

Искусство продуктивности без стресса

kiozk originals
Как правильно организовать рабочее место Как правильно организовать рабочее место

Правильная организация рабочего места повышает продуктивность

Cosmopolitan
Зря разделась! 9 забавных ситуаций, в которые попадали актеры на съемках Зря разделась! 9 забавных ситуаций, в которые попадали актеры на съемках

Актеры нередко попадают в забавные ситуации или подшучивают друг над другом

Cosmopolitan
10 причин, почему инопланетяне не будут похожи на нас 10 причин, почему инопланетяне не будут похожи на нас

Выглядеть наши братья по разуму будут совсем иначе, чем люди

Популярная механика
Селфи Селфи

Почему мы зациклены на себе и как это на нас влияет

kiozk originals
Люди спасли от вымирания не менее 28 видов птиц и млекопитающих с 1993 года Люди спасли от вымирания не менее 28 видов птиц и млекопитающих с 1993 года

Меры по охране природы позволили предотвратить исчезновение 28–48 видов

N+1
Как не заболеть простудой и гриппом: простые правила Как не заболеть простудой и гриппом: простые правила

Основные методы противостояния простудным заболеваниям и вирусам

РБК
Правила жизни Уилла Смита Правила жизни Уилла Смита

Правила жизни американского актера и музыканта Уилла Смита

Esquire
Открыть в приложении