Большой брат как наследник Больших богов
Оставляет ли растущая сложность мира нам какой-то другой выбор, кроме тотального цифрового контроля? Интервью с Сергеем Кареловым
Приготовьтесь читать очень страшный текст о том, почему цифровой контроль неизбежен, а вы или ваши ближайшие потомки скоро лишитесь свободы выбора и свободы воли добровольно, даже не очень заметив этого.
Эволюция привела нас к какому-то новому огромному скачку сложности мира. Мы все чувствуем быстро растущую неопределенность даже собственных поступков, не говоря уже о поступках и решениях правительств, мэров, всевозможных быстро возникающих социальных групп — «желтые жилеты», MeToo, «Я/Мы Иван Голунов», а скоро к ним прибавятся и организованные в группы умные устройства.
Как ответит человечество на эту сложность и потерю управляемости? Сможет ли оно опереться на нынешние представления о морали или потребуется внести кардинальные изменения в эти понятия? Надо ли считать изменение рамок приватности и конфиденциальности достаточно большой угрозой более широким представлениям о добре и зле, чтобы отстаивать их, несмотря на риск разрушить мир? И наоборот, отказавшись от приватности и конфиденциальности, мы действительно откажемся от добра и свободы выбора и таким образом создадим большую угрозу человечеству, чем несет в себе растущая сложность? И неужели наука не в состоянии решить эти проблемы, не разрушая наши моральные принципы? И разве политики не должны найти в себе волю ограничить рост сложности, раз угрозы столь велики?
Нет. Вы не найдете ответов на эти вопросы в этом тексте. Но вы их себе с тревогой зададите.
Интервью с Сергеем Кареловым экс-топ-менеджером международных ИТ-компаний IBM, SGI, Cray, независимым экспертом, ведущим авторского научно-популярного канала «Малоизвестное интересное».
— В Москве начинается цифровой эксперимент, который вызывает бурю протеста и простых людей, и части элит. Вы же, насколько я знаю, считаете, что принципиальное возрастание цифрового контроля неизбежно. Почему?
— Да, я так считаю. Дело в том, что буквально за последние пару десятков лет произошел огромный скачок сложности в устройстве мира. Это и интернет, и ускорение коммуникаций, и глобальная связанность, и, самое главное, перемещение основной части коллективной памяти в сеть. Этот скачок привел к тому, что наука и культура перестали справляться с возрастающими рисками. Возникли и всякие нелинейности, и радикальная неопределенность, которые исчерпывают возможности и современной науки по прогнозированию развития тех или иных трендов, и практики принятия осмысленных управленческих решений. И с этим надо что-то делать.
Но это не первый такой скачок сложности. Предыдущий произошел пять-десять тысяч лет назад и привел к появлению больших религий — я их называю религиями Больших богов. При этом религии Больших богов — это следствие, а причина в том, что с появлением письменности фактически изменился способ мышления человечества — появилась внешняя память. Человеческая культура и интеллект — это коллективный феномен. И где-то пять тысяч лет назад он перестал умещаться в головах людей, а стал ложиться на всякие материальные артефакты. С этого момента началась генно-культурная эволюция, где культура, коллективная память стали разгонять сложность общества. Но этот скачок сложности нужно было как-то компенсировать, чтобы сохранить управляемость и возможность масштабирования коллективной деятельности. И тогда был создан феномен Больших богов, которые неусыпно наблюдают и которых нельзя обмануть.
— Что вы понимаете под Большими богами?
— Большие боги — это так называемые морализующие боги, которые появились еще в Древнем Египте и Месопотамии. Это морализующие боги, которые поменяли представление о главном — о том, что есть добро и что есть зло. Потому что до этого водораздел между добром и злом был прост: если мы съели чужое племя, то это хорошо, а если они нас, то это плохо.
— Я и хочу сказать, что тот шаг нес в себе мораль, а как видится сейчас вся эта цифровизация……
— Подождите, мы сейчас к этому придем.
Фиксируем, что значительное усложнение зарождающейся цивилизации потребовало компенсаторных механизмов, которые позволили с этим усложнением справиться. Тогда справились с помощью Больших богов. А поскольку эволюция, в том числе и макроэволюция, и социальная эволюция, а не только биологическая, никогда не придумывает ничего нового, то возникает гипотеза, что если сейчас происходит такой же мощный скачок сложностей, с которым ни наука, ни культура не могут справиться, то почему бы не пойти старым способом и не провести некое кардинальное изменение культурных норм, сформировать новый тип тотального наблюдателя, который будет судить, что хорошо, а что плохо.
Такое кардинальное изменение культурных норм, в общем-то, уже вызревает. И в первую очередь оно касается понятий приватности и конфиденциальности, потому что именно эти понятия сейчас составляют основу современного понимания свободы в развитом обществе. И этот новый тип тотального наблюдателя, который также будет сдерживать и компенсировать всевозрастающие риски, складывался технологически в последние пятнадцать лет.
В том, что большой скачок есть, нет сомнений. Поверьте, по этому поводу серьезные авторы пишут не первый год. Это считается очевидным. Неочевидным является решение вопроса, как с этим бороться. Я высказываю гипотезу о «Большом брате» как сыне «Большого бога».
В качестве проверки гипотезы приведу пример коронавируса. Основная проблема, почему пандемия понеслась, в том, что из соображений конфиденциальности, приватности и невозможности следить друг за другом китайцы утаили начало своей эпидемии. А если бы этого не произошло и резкими движениями по всему миру и в Китае обрубили бы передвижение и транспортировку, то и не было бы, глядишь, и эпидемии. Более того, единственное, что запрещает всему западному миру успешно использовать опыт Тайваня, Южной Кореи, — та самая приватность, конфиденциальность и невозможность отслеживать всех.
Аналогичные примеры можно привести в связи с преступностью, терроризмом и даже со все более нерешаемой проблемой ядерного оружия, потому что она становится снова нерешаемой, так как внедрение искусственного интеллекта в ближайшем будущем ставит вопрос об отсутствии гарантии ядерного уничтожения. Но путем тотального взаимного наблюдения эту проблему можно решить.
Насколько моя гипотеза правильна, сейчас сказать трудно, но пути решения этих вызовов без изменения рациональной парадигмы науки и существующих культурных парадигм нет.
— Если говорить об этой гипотезе, то в нынешнем цифровом контроле существуют принципиальные отличия от того замечательного времени появления богов. Во-первых, тот тотальный наблюдатель был где-то на небесах. И непосредственного воздействия на жизнь человека оказать не мог. Влияние было опосредованным. А нынешний тотальный наблюдатель грозит непосредственно оказывать влияние. У нас исчезает свобода выбора. То есть религиозная основа нравственности была построена на том, что мы могли выбирать в этой жизни между добром и злом сами, а теперь Большой брат каждый наш неправильный выбор будет купировать. Так что это больше похоже на диктатуру, чем на новую религию.
— На самом деле религия как верование не есть предмет нашего разговора. Мы рассматриваем религии и богов не в религиозном ключе, а их культурно-управленческую часть.
Большие боги или идеальная тюрьма
— Я это и пытаюсь сказать. Та модель была отстраненной, там управляла некая высшая сила, которая, в общем, имела относительно ограниченные возможности непосредственного влияния на жизнь человека. А теперь высшие силы — это набор людей и технологий, которые принимают решения относительно нас здесь и сейчас.
— Это не играет роли. На чем построена китайская система, о которой много говорят, но мало кто знает, что она собой реально представляет? Она построена не на том, что всех тотально мониторят. Суть ее в том, что там применяется принцип идеальной тюрьмы. То есть за людьми не наблюдают каждую секунду, но люди считают, что за ними могут в любой момент наблюдать, и они не знают, наблюдают за ними или нет. А это меняет их поведение. Главная же цель любой религии — поменять поведение.
Здесь работает то же самое, что сработало, когда мэр Москвы Сергей Собянин ввел цифровые пропуска. Люди не знали, наблюдают за ними или нет, но они знали, что могут наблюдать, — и это изменило поведение.
Цель этих изменений не реальное тотальное наблюдение, которое невозможно. Нельзя читать все письма и просматривать все видео, прослушивать все аудио. Но можно создать систему, которая будет менять поведение подавляющего большинства людей. Люди будут все время держать в голове: «Черт его знает… Нехорошо нарушать вот эту клятву или это правило. Накажут — не накажут, на этом свете — на том свете…» То есть поведение меняется за счет изменения моральных человеческих стимулов.
— Какова радикальная необходимость менять поведенческий профиль человека? Вы говорили об усложненности, которая произошла много лет назад. Она имела определенную ценность и была связана с гигантским цивилизационным скачком в развитии. Кажется, что нынешняя усложненность не имеет какой-то очень значимой ценности, это больше маркетинговая ценность сбора данных.
— Это не так. Скачок, который происходит сейчас, абсолютно сопоставим с тем большим скачком, который произошел пять-десять тысяч лет назад. Я сошлюсь на Мерлина Дональда — основоположника этого направления. Он обосновывает, что возникновение внешней памяти у людей в виде различного рода артефактов, письменности, знаковых систем и так далее расширило мозг человека на много-много порядков. То есть сегодняшний человек — это не только индивид, который в своей голове хранит свой интеллект, его интеллект заключается в подключении к коллективному интеллекту. Если ребенок попадает в среду животных, то никакого интеллекта у него не обнаружится. А сегодняшний интеллект, который есть в голове каждого из нас, на самом деле не что иное, как умение извлечь знания и некую мудрость из коллективного интеллекта других людей. В голове одного человека, даже самого выдающегося, хранится довольно небольшой объем знаний и мудрости.
Так вот, то, что происходит сейчас и произошло в первую очередь с появлением интернета, — это колоссальнейший скачок, который тоже позволяет на несколько порядков увеличить пропускную способность коллективного интеллекта.
Давайте вспомним, насколько быстро и эффективно вы могли подключиться к коллективному интеллекту тридцать лет назад? Надо было пойти в библиотеку, провести там много часов. Сейчас это гораздо эффективнее, гораздо мощнее по объемам, по скорости. И если пересчитать эти цифры на некий условный рост коллективного интеллекта, то скачок будет огромный. Считается, что пять-десять тысяч лет назад произошел скачок, который измеряется примерно в шесть-семь порядков. И сейчас просчитываются те же шесть-семь порядков увеличения коллективного интеллекта.
А уровень сложности системы определяется количеством узлов, обменивающихся информацией между собой. И скачок сложностей еще на несколько порядков превышает те величины, о которых я говорил, по возрастанию пропускной способности и обмену знаниями. Таким образом, сейчас происходят вещи еще более значительные, чем тогда. Цифры ужасающие! А значит, уровень рисков резко возрастает. Причем рисков, по сути, в какой угодно сфере. Это технологические, биологические, социальные риски. Риски таковы, что они непреодолимы, их нельзя просчитать. Ситуация становится непредсказуемой. Работает радикальная неопределенность. То есть неопределенность, в которой теоретически не существует правильного решения. И это означает, что рациональная парадигма современной науки и современные культурно-этические принципы не позволяют предложить рационального решения и выбрать правильную линию поведения. Это значит, нужно менять и то и другое.
Новые способы оценки реальности
— Непонятно почему. Насчет рациональных принципов науки — может быть. Но вы же сами описываете подход нейробиолога Карла Фристона, который говорит, что человеческий мозг работает по причинно-следственным связям, соответственно, каждый день мы «простраиваем» свою траекторию, опираясь на наше представление о том, «что будет, если…» и так далее. Разве этот подход не позволяет действовать в условиях неопределенности? Он давно существует и в науке, и в практической деятельности.
— Поверьте, что это не так. Фристон попытался сейчас, в апреле-мае, прокатать это дело на COVID-19. У него получилось феноменально интересно. Модели дают очень точные результаты. И суть этих моделей заключается не в том, чтобы аппроксимировать кривые, чтобы они близко ложились на экспериментальные данные, а в том, чтобы раскрыть причины, почему так происходит. И те причины, которые открываются, они контринтуитивны.
— Например?
— Первый пример в том, что уже образовался стадный иммунитет.
— И что?
— Как что? Всего от семи до двадцати процентов населения инфицировано по разным странам, и в нормальной логике коллективный иммунитет не может образоваться, а модель показывает, что он образовался.
То есть здесь рациональность перестает работать. Потому что все сложнее. Наше представление о стадном иммунитете таково: вы заразили меня, я заразил еще кого-то, и только когда семьдесят процентов заразились, вирус сдыхает, потому ему не через кого передаться. Это соображение примитивно. Оно не учитывает хотя бы того, что тот вирус, которым вы заразили меня, имел силу сто баллов. Пройдя через мою иммунную систему, он выйдет, и я заражу Васю, но вирус будет силой уже только восемьдесят баллов. Но поскольку мы этого не знаем, мы не умеем это измерять. Мы можем прикинуть, у кого больше антител этого типа, другого типа. Но методик у нас нет. И это означает, что наша прекрасная концепция коллективного иммунитета может быть детской игрой, докоперниковским представлением о строении Вселенной. Это к вопросу о том, что это не просто слова об изменении рациональности, это изменение рациональных принципов нашего мировоззрения.
— Вы хотите сказать, что для того, чтобы осуществить этот новый способ принятия решений, необходимы огромные объемы данных, вычислительные мощности и так далее?
— Да. Так вот, есть некий скачок сложности, который ставит перед человечеством много непреодолимых задач. И весь вопрос в том, существует ли способ преодолеть этот скачок сложностей. Не преодолеть, а адаптироваться. А эволюция так устроена, что она пытается использовать старый отработанный способ. И тогда возникает Большой брат вместо Большого бога.
В принципе, надо не так много для того, чтобы произвести нечто подобное, но на новом эволюционном уровне. Первое — нужно отказаться от презумпции приватности и конфиденциальности всем, на всех уровнях. И на уровне индивида, и на уровне государства. Понимаете?
— Мы очень грустим. По поводу приватности.
— А вы помните такую замечательную вещь, как блокчейн? Почему вы не грустите по поводу блокчейна? Блокчейн — это первое технологическое решение с новым пониманием конфиденциальности и приватности. За счет того, что приватность и конфиденциальность перестают существовать, они становятся коллективными, распределенными, что гарантирует соблюдение неким механизмом скорости, эффективности и честности. Вообще, отказываясь от этого понятия, вы функционально обеспечиваете, например, точность проведения расчетов, если на этой системе сделали валюту или любой смарт-контракт. И их невозможно нарушить, вот в чем фишка-то.
В случае цифрового контроля возникает нечто подобное, но в более широком контексте — в контексте всей культурной эволюции социума.
Еще надо учесть, что главным трендом этого нового культурного перехода является максимальное расслоение общества. На уровне людей, если мы имеем в виду персональные богатства человека, на уровне бизнеса. Вымывается всё из середины, все становятся или более бедными, или более богатыми. Если учесть этот тренд, то наблюдение становится еще и предельно простым. Наблюдение за массами становится простым, потому что эти массы, по сути, ничего не могут, ни на что не влияют и целиком зависимы от, скажем, половины процента людей, которые всем вершат. А тех, которые реально вершат, становится существенно меньше. Грубо говоря, на всю планету и тысячи не наберется. И это означает, что им и между собой гораздо проще организовать тотальное взаимное наблюдение, и задача решается.
— А какая задача решается?
— Минимизация экзистенциальных рисков, что все это накроется медным тазом.
— Подождите… В том рывке решалась задача, что если бы не было богов, то люди поубивали бы друг друга. И поэтому были придуманы любовь, наказание и прочее. А дальше реализовался сценарий, где степень добра, гуманизма в обществе росла. Это мы можем наблюдать из сегодняшнего времени. А в нынешнем тренде вы говорите, что уже произошла радикальная сегрегация и дальше она будет только увеличиваться. Так какая же задача решается?
— И та задача, которая была тогда, и задача, которая сейчас, она на самом деле одна и та же. Требуется лишь одно — снять ограничения на дальнейшее масштабирование коллективной деятельности. Всё!
— Но разве сама по себе сегрегация не может привести к тому, что экзистенциальные риски буду выше, а не ниже?
— Это эволюционная цель. Благодаря эволюции из одноклеточных организмов появились многоклеточные, из многоклеточных — все остальное, включая нас сейчас. Сейчас мы превращаемся в клетки некоего организма, интеллектуального коллективного мозга и физиологического организма, по сути единого. И речь идет о дальнейшем масштабировании.
Там произошел переход через границу сотрудничества в миллион особей, и надо было сделать это так, чтобы люди действительно не поубивали друг друга, чтобы они были готовы подчиняться чужим приказам и выполнять то, что нужно обществу. Сейчас речь идет о преодоление цифры в несколько миллиардов.
Вы никогда не смотрели динамику количества интеллектуальных агентов? Еще тридцать лет назад количество интеллектуальных агентов определялось исключительно по количеству людей. И их было шесть-семь миллиардов. А сейчас количество умных устройств уже превысило количество интеллектуальных агентов-людей. И лет через пять их будет больше на двенадцать порядков. Поэтому когда я говорю об усложнении системы в плане сложностей по количеству взаимодействующих интеллектуальных агентов, я вовсе не имею в виду только людей. Более того, от людей вообще можно оставить тысячу, а остальных перевести на базовый доход и виртуальный энтертейнмент, а дальше решать проблему исключительно с интеллектуальными агентами.
— А зачем и кому их решать?
— Не пытайтесь искать здесь моральную цель. Все, что затеяла эволюция на Земле, развивается исключительно с одним вектором. Этот вектор — усложнение и разнообразие. Этот вектор, вообще-то, привел и к появлению жизни, и к появлению интеллекта. Сейчас есть лишь одна задача — большее количество интеллектуальных агентов должно быть масштабировано на решение более сложных коллективных задач.
И наконец, о свободе воли
— Из вашей стройной системы вы вынимаете свободу воли человека. И у вас не возникает вопроса, почему человек так свободно согласится с тем, что он лишится этой свободы воли?
— Трактовка «свободы воли» как свободы делать так, как мы захотим, наиболее общепринята. Хотя по-настоящему свобода воли — не про то, чего мы хотим. И кто именно хочет — я или мой мозг. Свобода воли — это исключительно выбор между добром и злом. Я могу свободно выбрать, что есть добро и что есть зло. И поскольку культура, в которой мы все живем, является определяющим фактором того, что для каждого из нас становится добром и злом, то с изменением этих культурно-этических норм мы с вами управляем свободой воли.
И если, например, мы говорим, что приватность и конфиденциальность — это все равно что курить в ресторане, всем вокруг от этого будет плохо, а если вы не наденете браслет, который будет снимать показания о ваших физиологических параметрах, то тем самым вы нанесете ущерб здоровью тысяч людей — это вообще фи, так жить нельзя! Какая тут будет свобода воля? Измените морально-этические принципы, заложенные в доминирующие культурно-поведенческие паттерны, — и все, никакой свободы воли не потребуется.
— Но так мы можем прийти к тому, что новый человек может решить, что и жить не надо, и потомство не нужно иметь…
— Все это же было сто миллионов лет назад сделано на социальных насекомых. Эволюция все это уже опробовала. Если вы поближе познакомитесь с изысканными тонкостями того, как это устроено, например, у муравьев…
— Я пошла перечитывать «Баранкин, будь человеком!»… Петр, у тебя есть вопросы?
— Я просто не со всем согласен. Я понимаю, что мы можем рассуждать о некоем пределе, но человек и человечество не раз разрушали многие усложнения — и социальные, и социокультурные, иногда ради зла, иногда во вред себе, но этим самым проявляя свободу воли. И мне очень сложно представить, что мы без эксцессов (мы как человечество) согласимся перейти в категорию людей, абсолютно не имеющих воли и свободы выбирать, как поступать и мыслить. Возможно, это длительный процесс, растянутый, связанный с конфликтами, но это явно не будет плавно.
— Я целиком согласен со всем, что вы сказали. Это абсолютно не предопределено. Есть разные возможные варианты, и в истории, вы совершенно правильно сказали, масса примеров, когда все получалось совсем не так, как вроде бы должно было идти. Я говорю лишь о том, что эту гипотезу сейчас нельзя ни опровергнуть, ни подтвердить. Но эта гипотеза опирается на вполне проверенный научный базис и на вполне надежные данные, которыми мы располагаем исторически. И эта гипотеза позволяет предположить, что возможно такое решение проблемы любых нарастающих рисков. Потому что в противном случае, если не справиться с этими рисками, человечество точно перестанет существовать очень быстро. Сегодня мы живем так, как если бы всем завязали глаза, а вокруг сплошные пропасти. И либо мы все падаем рано или поздно в пропасть, либо надо придумывать, как организовываться и дальше жить. Придумают другой способ — отлично и замечательно! Но сейчас пока есть вот такой, и он вроде бы обеспечивает выживание человечества на грядущие там черт его знает сколько лет.
Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl