Как и зачем исследовать логику нейросетей

N+1Hi-Tech

Внимание, черный ящик. Как и зачем исследовать логику нейросетей

Как и зачем исследовать логику нейросетей

Григорий Копиев

Прогресс в машинном обучении, достигнутый за последнее десятилетие, подарил нам как множество новых возможностей, так и неочевидные проблемы: модели машинного обучения стали настолько сложными и большими, что понять логику их действий все труднее. Вместе с Yandex Research, который проводит исследования машинного обучения мирового уровня, рассказываем, как разработчики изучают современные ML-алгоритмы — и почему это стоит делать, даже если они работают хорошо.

Начало обучения

Нейросети на слуху последние несколько лет. Может показаться, что это новый тип алгоритмов. Отчасти так оно и есть: многие архитектуры нейросетей, успевшие стать классическими, появились лишь несколько лет назад. Но идея повторить в машине принцип работы нейронных сетей была реализована на самой заре машинного обучения.

В конце 1950-х годов Фрэнк Розенблатт описал и реализовал «в железе» перцептрон — простейшую архитектуру искусственных нейросетей, которая заложила основу для современных нейросетей (а многослойные перцептроны широко применяются до сих пор).

Розенблатт показал работу перцептрона, обучив его распознавать знаки и символы, что для 1958 года было серьезным успехом. Но, пожалуй, главное достижение и следствие этого заключалось в укреплении идеи, что для создания машины инженеру не нужно вручную прописывать набор правил — они могут родиться сами в виде весов во время обучения.

В дальнейшем ученые придумывали все новые и новые архитектуры моделей машинного обучения, причем не только нейросетевые. И хотя математические операции внутри моделей по отдельности оставались понятными, их количество и взаимное влияние усложняло анализ работы алгоритмов.

Старший исследователь Yandex Research Андрей Малинин объясняет: «Представьте огромный часовой механизм размером с небоскреб, внутри которого крутятся миллиарды шестеренок размером в ноготь — все красиво крутится, но ничего не понятно. Мы можем посмотреть на какой-то локальный кусочек с парой шестеренок, и вроде ясно, как в нем все работает, но неясно, как это встраивается в механизм в целом».

Современная эра

В 2012 году в развитии машинного обучения наметился прорыв, связанный с нейросетью AlexNet. Это сверточная нейросеть для классификации изображений из датасета ImageNet, в котором содержится более 15 миллионов изображений объектов, разбитых на 22 тысячи категорий. Задача бенчмарка ImageNet — определить класс объекта на фотографии. AlexNet удалось выиграть соревнования ImageNet 2012 года, причем с большим отрывом от ближайшего конкурента: частота ошибок при определении пяти самых вероятных объектов составила 15,3 процента против 26,2 у алгоритма со второго места.

Такой успех можно объяснить несколькими причинами. Во-первых, разработчики улучшили архитектуру нейросети, использовав в качестве функции активации редкую для того времени и повсеместно применяемую сейчас ReLU. Во-вторых, хотя это была большая нейросеть, состоявшая из 650 тысяч нейронов и имевшая 60 миллионов параметров, разработчики нашли способ ускорить ее обучение. Они сумели распараллелить обучение сети на два графических процессора. Это была не первая работа, в которой нейросети предлагали обучать на графических процессорах, но, вероятно, первый заметный пример, который показал другим исследователям, что ограничения по вычислительной мощности, сдерживавшие развитие этой области, можно обойти. А значит, размеры моделей и обучающих датасетов можно смело увеличивать.

Спустя шесть лет исследователи из OpenAI проанализировали ключевые работы в области нейросетей и показали, что именно с AlexNet в 2012 году начался рост затрачиваемой на обучение вычислительной мощности. Если раньше она удваивалась каждые два года, следуя закону Мура, то с 2012 года удвоение происходило уже каждые 3–4 месяца. Благодаря такой четкой временной границе OpenAI предложила называть период после 2012 года «современной эрой».

Рост объема вычислений, проводимых при обучении моделей машинного обучения. На графике можно увидеть резкую смену тренда в 2012 году — начало «современной эры». OpenAI

Вместе с увеличением размера нейросетей менялись и подходы к обучению. Стало набирать популярность обучение без учителя на неразмеченных данных.

Хороший пример такого подхода — нейросети GPT, разработанные в OpenAI. Это модели генерации текста, задача которых сводится к предсказанию следующего слова в предложении. Это позволяет писать большие тексты, которые выглядят как результат работы человека, а не машины. Разработчики GPT решили уйти от обучения на ограниченных датасетах с размеченными текстами к самообучению на гигантском объеме самых разных текстов из интернета: GPT-3 обучили на 570 гигабайт текстов. Это позволило модели выучить структуру языка, после чего ее можно быстро дообучить для конкретной задачи, например генерации стихов в стиле любимого поэта, показав всего несколько примеров, а не собирая новый большой датасет.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ученые нашли нейроны головного мозга, которые измеряют положение и перемещение в пространстве Ученые нашли нейроны головного мозга, которые измеряют положение и перемещение в пространстве

Какую роль играет гиппокамп в навигационной системе мозга?

ТехИнсайдер
«Стоп-механизмы» успеха: что их запускает? «Стоп-механизмы» успеха: что их запускает?

Что мешает нам добиваться целей?

Psychologies
6 способов защиты от болезни Альцгеймера 6 способов защиты от болезни Альцгеймера

Есть полезные привычки, которые помогут сохранить ясность ума

Psychologies
«Сила женщины в ее слабости»: почему важно быть разной «Сила женщины в ее слабости»: почему важно быть разной

Чередование противоположностей поможет женщинам стать полноценными личностями

Psychologies
Идеальное выдуманное Идеальное выдуманное

Автопромышленность параллельного СССР

Автопилот
Как выбрать TWS-наушники: 6 важных критериев Как выбрать TWS-наушники: 6 важных критериев

К выбору TWS-наушников стоит подойти максимально серьезно

CHIP
Кинематограф управляет вашими эмоциями. На что нужно обратить внимание Кинематограф управляет вашими эмоциями. На что нужно обратить внимание

Десятилетие за десятилетием киноискусство овладевает умами

ТехИнсайдер
Что разрушает наши отношения: 3 причины Что разрушает наши отношения: 3 причины

«Черная триада» — три причины, по которым разрушаются отношения

Psychologies
Никита Ковтунов — об учебе у Брусникина и преподавании в Gogol School Никита Ковтунов — об учебе у Брусникина и преподавании в Gogol School

Никита Ковтунов — об универсальности артиста и русской литературе

РБК
Проблемы с сексом, тайная любовница Гитлера на протяжении 16 лет и жена на 36 часов: тяжелая судьба красавицы Евы Браун Проблемы с сексом, тайная любовница Гитлера на протяжении 16 лет и жена на 36 часов: тяжелая судьба красавицы Евы Браун

Имя Гитлера на слуху у всех, но что нам известно про его любовницу Еву Браун

ТехИнсайдер
Почему нам все время снятся кошмары и что можно с этим сделать Почему нам все время снятся кошмары и что можно с этим сделать

Как найти причину кошмаров и справиться с этой проблемой?

Psychologies

Самый необычный постоялец отеля «Гельвеция»

Правила жизни
«Эзопов язык уже невозможен»: Ольга Сутулова о переменах в кино и женской повестке «Эзопов язык уже невозможен»: Ольга Сутулова о переменах в кино и женской повестке

Актриса Юля Варшавская — как меняется женская повестка в российском кино

Forbes
Как сохранить желание: интервью с сексологом Как сохранить желание: интервью с сексологом

Можно ли сохранять сексуальный аппетит на протяжении долгого времени?

Psychologies
Зачем бытовая техника следит за нами и чем это может быть опасно Зачем бытовая техника следит за нами и чем это может быть опасно

Как хакеры могут испортить тебе жизнь одним нажатием кнопки

Maxim
Три года в рабстве у чукчей: история советской ученой-этнографа Варвары Кузнецовой Три года в рабстве у чукчей: история советской ученой-этнографа Варвары Кузнецовой

Этнограф Варвара Кузнецова решила, что справится с путешествием на Чукотку

VOICE
Одиночество в толпе: как переход от сигар и трубок к сигаретам изменил стиль общения Одиночество в толпе: как переход от сигар и трубок к сигаретам изменил стиль общения

Отрывок из книги историка Дэвида Винсента «История одиночества»

Forbes
Два в одном: спортивный болид и электрокар в концепции Porsche Taycan Два в одном: спортивный болид и электрокар в концепции Porsche Taycan

Porsche Taycan принято считать первым электромобилем немецкого концерна Porsche

ТехИнсайдер
Палеогенетики впервые прочитали ДНК из древнеегипетских каноп Палеогенетики впервые прочитали ДНК из древнеегипетских каноп

Отсеквенировали ДНК из образцов, извлеченных из древнеегипетских каноп

N+1
«Слишком хороший сын»: мой мужчина чрезмерно заботится о матери «Слишком хороший сын»: мой мужчина чрезмерно заботится о матери

Как мужчина относится к своей матери, так он будет относиться к своей жене?

Psychologies
Сверхновая 1181 года вписалась в модель слияния двух белых карликов Сверхновая 1181 года вписалась в модель слияния двух белых карликов

Возникновение сверхновой произошло из-за слияния двух белых карликов

N+1
Правила самогонщиков: почему медь вкуснее нержавейки и как отсечь хвосты на глаз Правила самогонщиков: почему медь вкуснее нержавейки и как отсечь хвосты на глаз

Рано или поздно любой благородный муж приходит к мысли о самогоноварении

Maxim
Четыре неочевидные идеи, которые добавят в интерьер дизайнерские нотки Четыре неочевидные идеи, которые добавят в интерьер дизайнерские нотки

Как разнообразить интерьер вашей квартиры и сделать его оригинальным

Караван историй
«Я люблю вас сильно-сильно»: история маньяка Вячеслава Соловьева, который убил даже жену и дочь «Я люблю вас сильно-сильно»: история маньяка Вячеслава Соловьева, который убил даже жену и дочь

Вячеслав Соловьев без малейших колебаний убивал тех, кто его раздражал

VOICE
Веру в удачу и предсказания связали с индексом человеческого развития Веру в удачу и предсказания связали с индексом человеческого развития

Почему в одних странах в сверхъестественное верят меньше, чем в других?

N+1
Как должна вести себя настоящая женщина: советы и наблюдения со страниц дневника таинственной японки Мурасаки Как должна вести себя настоящая женщина: советы и наблюдения со страниц дневника таинственной японки Мурасаки

Как девушке сохранять достоинство, занимая высокое положение в обществе?

VOICE
Наш мозг считает быстрее всего не слева направо, а снизу вверх Наш мозг считает быстрее всего не слева направо, а снизу вверх

Самое удобное для нашего мозга расположение чисел — в столбик снизу вверх

ТехИнсайдер
Опасные люди: как их распознать, если они кажутся «нормальными» Опасные люди: как их распознать, если они кажутся «нормальными»

Опаснее всего не явные тираны, а те, кто поначалу кажутся нормальными

Psychologies
Локальный бизнес и огород во дворе: как сообщества соседей помогают городу Локальный бизнес и огород во дворе: как сообщества соседей помогают городу

Почему соседи по дому и району все чаще объединяются?

Forbes
Вселенная художника Дмитрия Врубеля: от Брежнева до Босха и Гагарина Вселенная художника Дмитрия Врубеля: от Брежнева до Босха и Гагарина

Почему Дмитрий Врубель гораздо больше, чем просто автор политического плаката

Forbes
Открыть в приложении