7 дней назад вышла занятная статья Виталия Бутерина, в которой он рассматривает развитие технологий, прогнозирует и размышляет чего ожидать от будущего. Привожу перевод этой статьи (с изображениями из статьи) и забираю из нее несколько прогнозов для своей Коллекции.

Особая благодарность Моргану Беллеру, Хуану Бенету, Эли Дорадо, Карлу Флоршу, Шрираму Кришнану, Нейту Соаресу, Яану Таллину, Винсенту Вейссеру, волонтёрам Balvi и другим за обратную связь и рецензию.

В прошлом месяце Марк Андрессен опубликовал свой «манифест техно-оптимизма», в котором он призывает к обновлённому энтузиазму по отношению к технологиям, а также к рынкам и капитализму как средствам создания этих технологий и продвижения человечества к светлейшему будущему. Манифест ясно отвергает то, что он описывает как идеологию застоя, боящуюся прогресса и приоритизирующую сохранение мира таким, каков он есть сегодня. Этот манифест получил много внимания, включая статьи-ответы от Ноа Смита, Робина Хансона, Джошуа Ганса (более позитивные) и Дэйва Карпфа, Луки Ропека, Эзры Кляйна (более негативные) и многих других. Не связаны с этим манифестом, но похожие темой, «Консервативный Футурист» Джеймса Петокукиса и «Пора Строить для Добра» от Palladium. В этом месяце мы видели подобные дебаты, развернувшиеся вокруг скандала в OpenAI, в котором происходило множество дискуссий о рисках сверхинтеллектуального ИИ и о том, что OpenAI движется слишком быстро.

Моё отношение к техно-оптимизму теплое, но нюансированное. Я верю в будущее, которое будет намного светлее настоящего благодаря радикально трансформирующим технологиям, и я верю в людей и человечество. Я отвергаю менталитет, что лучшее, чего мы должны пытаться достичь, — это сохранение мира примерно таким же, как сегодня, но с меньшей жадностью и большими возможностями общественного здравоохранения. Однако, я считаю, что важны не только масштабы, но и направление. Есть определенные виды технологий, которые намного надежнее делают мир лучше, чем другие виды технологий. Есть определенные виды технологий, которые, если их разработать, могут смягчить негативные последствия других видов технологий. Мир слишком много вкладывает в некоторые направления технологического развития и недостаточно в другие. Нам нужно активное человеческое намерение выбирать направления, которые мы хотим, так как формула «максимизировать прибыль» не приведет к ним автоматически.

В этом посте я расскажу, что техно-оптимизм значит для меня. Он включает в себя более широкий мировоззренческий контекст, который мотивирует мою работу над определенными видами приложений блокчейна и криптографии и социальных технологий, а также другие области науки, которыми я интересовался. Но перспективы этого более широкого вопроса также имеют последствия для ИИ и для многих других областей. Наши стремительные успехи в технологиях, вероятно, станут самой важной социальной проблемой двадцать первого века, и поэтому важно тщательно обдумать их.

Технологии удивительны, и цена задержки их развития очень высока

В некоторых кругах принято преуменьшать пользу технологий и видеть в них главным образом источник дистопии и риска. За последние полвека это часто происходило либо из-за экологических опасений, либо из-за опасений, что пользы будут иметь только богатые, которые укрепят свою власть над бедными. Недавно я также начал видеть, как либертарианцы начинают беспокоиться о некоторых технологиях из-за страха, что технологии приведут к централизации власти. В этом месяце я провёл опросы, в которых спрашивал следующее: если технологию нужно ограничить, потому что она слишком опасна для свободного использования, предпочли бы люди монополизировать её или задержать на десять лет? Я был удивлён, увидев, что на трёх платформах и при трёх вариантах выбора монополиста подавляющее большинство выбрало задержку.

Поэтому иногда меня беспокоит, что мы перегнули палку, и многие люди упускают из виду обратную сторону аргумента: польза от технологий действительно огромна, и на тех осях, где мы можем её измерить, хорошее значительно превосходит плохое, а затраты даже на десятилетнюю задержку невероятно высоки.

Для наглядности давайте посмотрим на график продолжительности жизни:

Что мы видим? За последнее столетие достигнут действительно огромный прогресс. Это верно для всего мира, как для исторически богатых и доминирующих регионов, так и для бедных и эксплуатируемых регионов.

Некоторые обвиняют технологии в создании или усугублении бедствий, таких как тоталитаризм и войны. Фактически, мы можем видеть смерти, вызванные войнами, на графиках: одна в 1910-х (Первая мировая война) и одна в 1940-х (Вторая мировая война). Если присмотреться, то видны и другие невоенные трагедии, такие как Испанский грипп и Великий скачок вперёд. Но есть одно, что делает график ясным: даже такие ужасающие бедствия, как эти, были затмеваются огромным объёмом неуклонных улучшений в пище, санитарии, медицине и инфраструктуре, которые произошли за это столетие.

Это отражается и в больших улучшениях нашей повседневной жизни. Благодаря интернету большинство людей во всём мире имеют доступ к информации на кончиках пальцев, которая двадцать лет назад была бы недоступна. Глобальная экономика становится более доступной благодаря улучшениям в международных платежах и финансах. Глобальная бедность стремительно снижается. Благодаря онлайн-картам нам больше не нужно беспокоиться о том, чтобы заблудиться в городе, и если вам нужно быстро вернуться домой, у нас теперь есть гораздо более простые способы вызвать машину. Наше имущество становится цифровым, а наши физические товары — дешёвыми, что означает, что нам меньше нужно бояться физической кражи. Онлайн-шопинг снизил разрыв в доступе к товарам между глобальными мегаполисами и остальным миром. Во всех отношениях автоматизация принесла нам вечно недооценённую пользу просто тем, что сделала нашу жизнь более удобной.

Эти улучшения, как количественно измеримые, так и нет, значительны. И в двадцать первом веке есть хороший шанс, что скоро наступят ещё большие улучшения. Сегодня прекращение старения и болезней кажется утопичным. Но с точки зрения компьютеров, какими они были в 1945 году, современная эра, когда чипы вставляются практически во всё, тоже казалась бы утопичной: даже в научно-фантастических фильмах компьютеры часто оставались размером с комнату. Если биотехнологии продвинутся за следующие 75 лет так же, как компьютеры за последние 75 лет, будущее может быть более впечатляющим, чем ожидания почти любого человека.

Тем временем аргументы, выражающие скептицизм по отношению к прогрессу, часто уходят в тёмные места. Даже медицинские учебники, как этот в 1990-х годах (благодарность Эмме Шевчак за нахождение), иногда делают крайние заявления, отрицая ценность двух веков медицинской науки и даже утверждая, что спасение человеческих жизней не очевидно хорошо:

ВВЕДЕНИЕ
Цель этой книги по истории — зарегистрировать изменения, произошедшие в акушерстве и гинекологии на протяжении многих столетий. Ключевое слово — «изменения», а не «прогресс», потому что это слово подразумевает улучшение, и сомнительно, что все произошедшие изменения приносят пользу. Кроме того, спасение жизней путем предотвращения или лечения болезней может в конечном итоге привести к перенаселению и голоду.

Тезис о «пределах роста», идея, выдвинутая в 1970-х годах о том, что растущее население и промышленность в конечном итоге истощат ограниченные ресурсы Земли, вдохновила на политику одного ребёнка в Китае и массовые принудительные стерилизации в Индии. В более ранние эпохи опасения по поводу перенаселения использовались для оправдания массового убийства. И эти идеи, выдвигаемые с 1798 года, имеют долгую историю того, как они оказывались ошибочными.

Именно по таким причинам, как отправная точка, мне нелегко относиться к аргументам о замедлении технологий или человеческого прогресса. Учитывая, насколько все сектора взаимосвязаны, даже секторальные замедления рискованны. И поэтому, когда я пишу такие вещи, как то, что я скажу позже в этом посте, отходя от открытого энтузиазма к прогрессу вне зависимости от его формы, это утверждения, которые я делаю с тяжёлым сердцем. Но 21-й век настолько другой и уникальный, что эти нюансы стоит рассмотреть.

Однако есть один важный момент, который стоит учесть в более широкой картине, особенно когда мы переходим от «технология в целом хороша» к теме «какие конкретные технологии хороши?». И здесь нам нужно обратить внимание на основную проблему многих людей: окружающую среду.

Окружающая среда и важность скоординированных намерений

Основным исключением из тенденции к улучшению всего за последние сто лет является изменение климата:

Даже пессимистичные сценарии продолжающегося повышения температур не приведут к буквальному вымиранию человечества. Но такие сценарии могут убить больше людей, чем крупные войны, и серьёзно навредить здоровью и средствам к существованию людей в регионах, где люди и так уже страдают больше всего. Исследование Швейцарского института Re предполагает, что в худшем сценарии изменения климата ВВП беднейших стран мира может снизиться на 25%. Это исследование предполагает, что продолжительность жизни в сельской местности Индии может быть на десятилетие ниже, чем могла бы быть, а такие исследования, как это и это, предполагают, что изменение климата может привести к ста миллионам лишних смертей к концу века.

Это большие проблемы. Мой ответ на вопрос, почему я оптимистичен относительно нашей способности преодолеть эти проблемы, двояк. Во-первых, после десятилетий шумихи и желательного мышления, солнечная энергетика наконец поворачивается, и поддерживающие технологии, такие как батареи, делают аналогичные успехи. Во-вторых, мы можем посмотреть на опыт человечества в решении предыдущих экологических проблем. Возьмём, к примеру, загрязнение воздуха. Вот дистопия прошлого: Великий смог Лондона, 1952 год.

Что произошло с тех пор? Давайте снова спросим Our World In Data:

Оказывается, 1952 год даже не был пиком: в конце 19-го века ещё более высокие концентрации загрязнителей воздуха просто принимались как норма. С тех пор мы видели столетие постоянного и быстрого снижения. Я лично наблюдал конец этого процесса во время своих визитов в Китай: в 2014 году высокий уровень смога в воздухе, оцениваемый как сокращающий продолжительность жизни более чем на пять лет, был нормой, но к 2020 году воздух часто казался таким же чистым, как и во многих западных городах. Это не единственная история успеха. Во многих частях мира площадь лесов увеличивается. Кризис кислотных дождей улучшается. Озоновый слой восстанавливается на протяжении десятилетий.

Для меня мораль этой истории такова. Часто действительно так, что версия N технологии нашей цивилизации вызывает проблему, а версия N+1 её решает. Однако это не происходит автоматически и требует сознательных человеческих усилий. Озоновый слой восстанавливается потому, что с помощью международных соглашений, такие как Монреальский протокол, мы заставили его восстановиться. Загрязнение воздуха уменьшается, потому что мы сделали возможным его уменьшение и активизировали процесс. И аналогично, солнечные панели не стали намного лучше, потому что это было предопределено частью энергетического дерева технологий; солнечные панели стали намного лучше, потому что десятилетия осознания важности решения проблемы изменения климата мотивировали как инженеров работать над проблемой, так и компании и правительства финансировать их исследования. Это сознательное действие, скоординированное через общественный дискурс и культуру, формирующие взгляды правительств, учёных, филантропов и бизнеса, а не неизбежная «техно-капитальная машина», решила эти проблемы.

ИИ принципиально отличается от других технологий, и с ним стоит быть уникально осторожными

Многие пренебрежительные мнения об ИИ, которые я видел, исходят из представления о нём как о «просто ещё одной технологии»: чем-то, что находится в том же общем классе, что и социальные медиа, шифрование, контрацепция, телефоны, самолёты, оружие, печатный станок и колесо. Эти вещи явно имеют огромное социальное значение. Они не просто изолированные улучшения благосостояния отдельных лиц: они радикально трансформируют культуру, меняют баланс сил и вредят людям, которые сильно зависели от предыдущего порядка. Многие выступали против них. И в итоге, пессимисты неизменно оказывались неправы.

Но есть и другой способ думать об ИИ: это новый тип разума, который быстро набирает интеллект и есть серьеъный риск, что он может превзойти умственные способности человека, став новым верховным видом на планете. Класс объектов в этой категории гораздо меньше: мы могли бы включить в него людей, превзошедших обезьян, многоклеточную жизнь, превзошедшую одноклеточную, происхождение жизни и, возможно, промышленную революцию, в которой машины превзошли человека в физической силе. Внезапно, кажется, что мы идём по гораздо менее изведанному пути.

Экзистенциальный риск — это большое дело

Один из способов, которым ИИ, если что-то пойдет не так, может ухудшить мир, — это (почти) худший возможный сценарий: он может буквально вызвать вымирание человечества. Это экстремальное утверждение: насколько вредным может быть худший сценарий изменения климата, искусственной пандемии или ядерной войны? Всё же останутся многие острова цивилизации, которые останутся целыми, чтобы собрать осколки. Но сверхинтеллектуальный ИИ, если он решит обратиться против нас, может вполне оставить без выживших и окончательно покончить с человечеством. Даже Марс может быть обречен.

Большая причина для беспокойства связана с инструментальным схождением: для очень широкого класса целей, которые могут быть у сверхинтеллектуальной сущности, два очень естественных промежуточных шага, которые ИИ мог бы предпринять для лучшего достижения этих целей, — это (i) потребление ресурсов и (ii) обеспечение собственной безопасности. Земля содержит много ресурсов, а люди являются предсказуемой угрозой для их сохранностии. Мы могли бы попытаться дать ИИ явную цель любить и защищать людей, но у нас нет ни малейшего представления о том, как  сделать так, чтобы эта цель сохранилась, как только ИИ столкнётся с неожиданной ситуацией. Следовательно, у нас есть проблема.

Опрос исследователей машинного обучения 2022 года показал, что в среднем исследователи считают, что есть 5-10% шанс, что ИИ буквально убьёт нас всех: примерно такая же вероятность, как статистически ожидаемый шанс умереть от небиологических причин, таких как травмы.

Это всё спекулятивная гипотеза, и мы все должны остерегаться спекулятивных гипотез, включающих сложные многоэтапные истории. Однако эти аргументы пережили более десяти лет критики, и поэтому, похоже, стоит хотя бы немного беспокоиться. Но даже если вы не беспокоитесь о буквальном вымирании, есть и другие причины для страха.

Даже если мы выживем, является ли будущее со сверхинтеллектуальным ИИ миром, в котором мы хотим жить?

Многие современные научно-фантастические произведения дистопичны и изображают ИИ в негативном свете. Даже попытки не научной фантастики идентифицировать возможные будущие ИИ часто дают довольно непривлекательные ответы. И поэтому я огляделся и задал вопрос: какое изображение будущего, содержащего сверхинтеллектуальный ИИ, будь то научная фантастика или иное,  в котором мы бы хотели жить? Ответ, который чаще всего возвращался, — это серия Иэна Бэнкса «Культура».

Серия «Культура» представляет собой далекое будущее межзвездной цивилизации, в котором главные роли играют обычные люди и сверхинтеллектуальные искусственные интеллекты, называемые «Разумами». Люди усовершенствованы, но лишь незначительно: медицинская технология, в теории, позволяет людям жить бесконечно, но большинство предпочитает жить только около 400 лет, по-видимому, потому что они наскучиваются жизнью к этому времени.

С поверхностной точки зрения, жизнь человека кажется хорошей: комфортная, заботы о здоровье решаются, есть множество вариантов развлечений, и существует положительное и синергетическое взаимодействие между людьми и Разумами. Однако, при более глубоком рассмотрении, возникает проблема: кажется, что Разумы полностью контролируют ситуацию, а единственная роль человека в историях — действовать как пешки Разумов, выполняя задачи от их имени.

Цитата из книги Гэвина Лича «Против ‘Культуры'»:

«Люди не являются главными героями. Даже когда кажутся, что книги имеют человека в роли главного героя, который делает большие и серьезные вещи, на самом деле люди являются агентом ИИ. (Закалве — один из немногих исключений, потому что он может делать аморальные вещи, которые Разумы не хотят.) ‘Разумы в ‘Культуре’ не нуждаются в людях, а вот людям нужно быть нужными.’ (Я думаю, что лишь небольшому числу людей нужно быть нужными — или, лишь небольшое количество из них нуждается в этом достаточно, чтобы отказаться от многих удобств. Большинство людей не живут в таком масштабе. Это всё ещё хорошая критика.)

Проекты, которые берут на себя люди, обычно ненастоящие. Почти всё, что они делают, машина могла бы сделать лучше. Что можно делать? Вы можете приказать Разуму не ловить вас, если вы упадете с скалы, по которой взбираетесь просто так; вы можете удалить резервные копии своего разума, чтобы действительно рисковать. Вы также можете просто покинуть ‘Культуру’ и вернуться в какую-нибудь старомодную, несвободную ‘строго оценивающую’ цивилизацию. Альтернатива — это проповедовать свободу, присоединившись к Контакту.

Я бы утверждал, что даже ‘значимые’ роли, которые даются людям в серии ‘Культура’, являются натяжкой; я спросил ChatGPT (кого же еще?), почему людям даются роли, которые им даются, вместо того чтобы Разумы делали всё сами, и лично нашел его ответы довольно неубедительными. Кажется очень сложным иметь ‘дружелюбный’ мир, доминируемый сверхинтеллектуальным ИИ, где люди являются чем-то большим, чем домашними животными.

Многие другие научно-фантастические серии предлагают мир, где существуют сверхинтеллектуальные ИИ, но они подчиняются приказам (неусовершенствованных) биологических человеческих хозяев. ‘Звездный путь’ является хорошим примером, демонстрирующим гармонию между космическими кораблями со своими ИИ «компьютерами» (и Дата) и их человеческими операторами-членами экипажа. Однако это кажется невероятно неустойчивым равновесием. Мир ‘Звездного пути’ выглядит идиллическим в данный момент, но трудно представить его видение человеко-ИИ отношений чем-то иным, чем переходным этапом за десятилетие до того, как космические корабли станут полностью управляемыми компьютерами и смогут перестать заботиться о больших коридорах, искусственной гравитации и климат-контроле.

Человек, отдающий приказы сверхинтеллектуальной машине, будет значительно менее интеллектуален, чем машина, и будет иметь доступ к меньшему количеству информации. Во Вселенной, где существует какая-либо степень конкуренции, цивилизации, где люди отступают на второй план, будут превосходить те, где люди упорно настаивают на контроле. Более того, сами компьютеры могут захватить контроль. Чтобы понять почему, представьте, что вы юридически являетесь буквальным рабом восьмилетнего ребенка. Если бы вы могли долго разговаривать с ребенком, думаете ли вы, что могли бы убедить ребенка подписать бумагу, освобождающую вас? Я не проводил этот эксперимент, но мой инстинктивный ответ — крепкое «да». Итак, в целом, люди, ставшие домашними животными, кажутся притягивающим аттрактором, от которого очень трудно уйти.

Небо близко, император повсюду

Китайская поговорка 天高皇帝远 («тян гао хуан ди юан»), означающая «небо высоко, а император далеко», воплощает в себе базовый факт о пределах централизации в политике. Даже в номинально большой и деспотической империи — на самом деле, особенно если деспотическая империя велика, существуют практические пределы досягаемости и внимания лидерства, необходимость лидерства делегировать местным агентам исполнение своей воли ослабляет его способность налагать свои намерения, и поэтому всегда есть места, где царит определенная степень практической свободы. Иногда это может иметь недостатки: отсутствие далекой силы, обеспечивающей соблюдение единых принципов и законов, может создать пространство для местных гегемонов, чтобы красть и угнетать.Но если централизованная власть приходит в упадок, практические ограничения внимания и расстояния могут создать практические пределы того, насколько плохо все может стать.

С ИИ, это больше не так. В двадцатом веке современные транспортные технологии сделали ограничения расстояния гораздо более слабым ограничением централизованной власти, чем ранее; великие тоталитарные империи 1940-х годов были частично результатом этого. В двадцать первом веке, масштабируемый сбор информации и автоматизация могут означать, что объем внимания больше не будет ограничением. Последствия полного исчезновения естественных пределов для правительства могут быть ужасающими.

Цифровой авторитаризм растет уже десять лет, и технологии слежения уже предоставили авторитарным правительствам мощные новые стратегии для подавления оппозиции: позволяйте протестам происходить, но затем тихо преследуйте участников после факта. В более широком смысле, мое основное опасение заключается в том, что те же виды управленческих технологий, которые позволяют OpenAI обслуживать более ста миллионов клиентов с помощью 500 сотрудников, также позволят политической элите из 500 человек, или даже пятичленному совету, поддерживать железный кулак над целой страной. С современной слежкой для сбора информации и современным ИИ для ее интерпретации, может не остаться места для укрытия.

Это становится хуже, когда мы думаем о последствиях ИИ в войне. Цитируя полуизвестный пост о философии ИИ и крипто от 0xAlpha:

Когда не нужно политико-идеологической работы и военной мобилизации, верховный главнокомандующий войны должен рассматривать ситуацию саму по себе, как если бы это была партия в шахматы, и полностью игнорировать мысли и чувства пешек/коней/ладей на шахматной доске. Война становится чисто технологической игрой.

Кроме того, политико-идеологическая работа и военная мобилизация требуют оправдания для того, чтобы кто-либо воевал. Не недооценивайте важность такого «оправдания». Это было ограничением легитимности войны в человеческом обществе на протяжении тысяч лет. Каждый, кто хочет вести войну, должен иметь причину или, по крайней мере, поверхностное оправдание этому. Можно утверждать, что это ограничение так слабо, потому что во многих случаях подобное было не более чем оправданием. Например, некоторые (если не все) крестовые походы на самом деле были направлены на захват земель и грабеж богатств, но они должны были проводиться во имя Бога, даже если грабимый город был христианским Константинополем. Однако даже слабое ограничение все же является ограничением! Это небольшое требование оправдания на самом деле мешает военным быть полностью бессовестными в достижении своих целей. Даже зло, подобное Гитлеру, не могло просто начать войну сразу же — он должен был сначала потратить годы, пытаясь убедить немецкую нацию сражаться за жизненное пространство для благородной арийской расы.

Сегодня «человек в петле» служит важной проверкой власти диктатора для начала войны или угнетания своих граждан внутри страны. Люди в петле предотвращали ядерные войны, позволяли разрушить Берлинскую стену и спасали жизни во время таких ужасов, как Холокост. Если в армии роботы, эта проверка полностью исчезает. Диктатор может напиться в 22:00, разозлиться на людей, которые обзывают его в твиттере в 23:00, и роботизированный вторженческий флот может пересечь границу, чтобы обрушить адский огонь на гражданские объекты и инфраструктуру соседней страны до полуночи.

И в отличие от прошлых эпох, где всегда был какой-то далекий уголок, где небо высоко и император далеко, где противники режима могли перегруппироваться и спрятаться и в конце концов найти способ улучшить ситуацию, с ИИ 21-го века тоталитарный режим вполне может поддерживать достаточный уровень слежки и контроля над миром, чтобы оставаться «заблокированным» навсегда.

d/acc: Защитное (или децентрализованное, или дифференциальное) ускорение

За последние несколько месяцев движение «e/acc» («эффективные акселерационисты») набрало обороты. Как подытожил «Бефф Джеос» здесь, e/acc в основном сводится к признанию огромных выгод от технологического прогресса и желанию ускорить этот тренд, чтобы получить эти выгоды раньше.

Я симпатизирую перспективе e/acc во многих контекстах. Есть много доказательств того, что FDA слишком консервативна в своем желании задерживать или блокировать одобрение лекарств, и в целом биоэтика слишком часто действует по принципу «20 погибших в результате неудачного медицинского эксперимента — это трагедия, но 200 000 погибших от задержки спасительного лечения — это статистика». Задержки в одобрении тестов и вакцин от COVID, а также вакцин от малярии, кажутся дополнительным подтверждением этого. Однако, можно зайти слишком далеко в этой перспективе.

Помимо моих опасений, связанных с ИИ, я испытываю особое двойственное отношение к энтузиазму e/acc по поводу военной технологии. В текущем контексте 2023 года, когда эта технология создается Соединенными Штатами и немедленно применяется для защиты Украины, легко увидеть, как она может быть силой добра. Однако, если взять более широкую перспективу, энтузиазм по поводу современной военной технологии как силы добра, по-видимому, требует веры в то, что доминирующая технологическая держава точно будет одной из «хороших сторон» в большинстве конфликтов, сейчас и в будущем: военная технология хороша, потому что военная технология создается и контролируется Америкой, и Америка хороша. Нужно ли быть e/acc максималистом Америки, ставя всё на нынешнюю и будущую мораль правительства и будущий успех этой страны?

С другой стороны, я вижу необходимость новых подходов к снижению этих рисков. Структура управления OpenAI — хороший пример: кажется, что это хорошо продуманная попытка сбалансировать необходимость получения прибыли для удовлетворения инвесторов, предоставивших первоначальный капитал, с желанием иметь систему сдержек и противовесов для противодействия шагам, которые могут привести к тому, что OpenAI «взорвет мир». На практике, однако, их недавняя попытка уволить Сэма Альтмана заставляет всю структуру выглядеть как полный провал: она централизовала власть в недемократичном и неподотчетном совете из пяти человек, которые принимали ключевые решения, основываясь на секретной информации и отказываясь давать какие-либо подробности о своих рассуждениях, пока сотрудники не угрожали уволиться массово. Каким-то образом, некоммерческий совет так плохо сыграл свои карты, что сотрудники компании создали де-факто импровизированный профсоюз… чтобы встать на сторону миллиардерского генерального директора против них.

В целом, я вижу слишком много планов спасения мира, которые включают предоставление небольшой группе людей экстремальной и непрозрачной власти и надежду на то, что они будут мудро ее использовать. И поэтому я склоняюсь к другой философии, одной, которая имеет подробные идеи о том, как справляться с рисками, но которая стремится создать и поддерживать более демократичный мир и старается избегать централизации как основного решения наших проблем. Эта философия также охватывает гораздо больше, чем ИИ, и я бы утверждал, что она хорошо применима даже в мирах, где проблемы риска ИИ оказываются в значительной степени необоснованными. Я буду называть эту философию d/acc.

Буква «d» здесь может означать многое; в частности, защиту (defense), децентрализацию, демократию и дифференциацию. Сначала подумайте о защите, а затем мы увидим, как это связано с другими интерпретациями.

Миры, благоприятствующие защите, способствуют процветанию здорового и демократического управления

Один из способов рассмотрения макропоследствий технологий — это взгляд на баланс защиты и нападения. Некоторые технологии облегчают атаку на других в широком смысле слова: делать вещи, противоречащие их интересам, на которые они вынуждены реагировать. Другие облегчают защиту, и даже защиту без опоры на крупных централизованных акторов.

Мир, благоприятствующий защите, лучше по многим причинам. Во-первых, это, конечно, прямая выгода безопасности: меньше людей умирает, меньше экономической ценности уничтожается, меньше времени тратится на конфликты. Менее очевидно, однако, то, что мир, благоприятствующий защите, облегчает процветание более здоровых, открытых и уважающих свободу форм управления.

Очевидный пример — Швейцария. Швейцарию часто считают ближайшим к реальности примером утопии классически либерального управления. Огромные полномочия переданы провинциям (называемым «кантонами»), крупные решения принимаются на референдумах, и многие местные жители даже не знают, кто их президент. Как страна может выживать в условиях чрезвычайно сложного политического давления? Часть ответа — великолепная политическая стратегия, но другая важная часть — география, благоприятствующая защите, в виде гористой местности.

Анархическое общество в Зомии, известное по новой книге Джеймса К. Скотта «Искусство не подчиняться», — другой пример: они также сохраняют свою свободу и независимость во многом благодаря гористой местности. Между тем, Евразийские степи — это точная противоположность утопии управления. Описание морских и континентальных держав от Сары Пейн делает аналогичные выводы, хотя и сосредотачивается на воде как на оборонительном барьере, а не на горах. Фактически, сочетание легкости добровольной торговли и трудности непроизвольного вторжения, общее для Швейцарии и островных государств, кажется идеальным для процветания человека.

Я обнаружил связанное явление, консультируя эксперименты с квадратичным финансированием в экосистеме Ethereum: конкретно раунды финансирования Gitcoin Grants. В четвертом раунде возник мини-скандал, когда некоторые из самых прибыльных получателей оказались влиятельными людьми в Twitter, чьи вклады некоторые считали положительными, а другие — отрицательными. Мой собственный взгляд на это явление заключался в том, что существует дисбаланс: квадратичное финансирование позволяет вам сигнализировать о том, что вы считаете что-то общественным благом, но не дает способа сигнализировать о том, что что-то является общественным злом. В крайнем случае полностью нейтральная система квадратичного финансирования финансировала бы обе стороны войны. Итак, для пятого раунда я предложил, чтобы Gitcoin включил отрицательные взносы: вы платите 1 доллар, чтобы уменьшить сумму, получаемую данным проектом (и косвенно перераспределить ее на все остальные проекты). Результат: многие это ненавидели.

Мне это показалось микрокосмом более крупного образца: создание децентрализованных механизмов управления для решения проблем с отрицательными внешними эффектами — социально очень сложная задача. Есть причина, по которой типичным примером неправильного децентрализованного управления является самосуд. В психологии человека есть что-то, что делает реакцию на отрицательные вещи гораздо более сложной и гораздо более вероятной для катастрофического исхода, чем реакцию на положительные. И это одна из причин, по которой даже в иначе высокодемократичных организациях решения о том, как реагировать на отрицательные явления, часто остаются на усмотрение централизованного совета.

Во многих случаях эта дилемма является одной из глубоких причин, почему концепция «свободы» так ценна. Если кто-то говорит что-то, что вас оскорбляет, или ведет образ жизни, который вы считаете отвратительным, боль и отвращение, которые вы чувствуете, реальны, и вам даже может быть менее плохо получить физический удар, чем подвергаться таким вещам. Но попытки договориться о том, какие виды оскорблений и отвращения являются социально действенными, могут иметь гораздо больше затрат и опасностей, чем простое напоминание нам самим, что определенные виды странных людей и грубиянов — это цена, которую мы платим за жизнь в свободном обществе.

Иногда, однако, подход «терпи и улыбайся» нереалистичен. В таких случаях стоит обратить внимание на защитные технологии. Чем безопаснее интернет, тем меньше нам нужно нарушать частную жизнь людей и использовать сомнительные международные дипломатические тактики для преследования каждого хакера. Чем больше мы можем создавать персонализированные инструменты для блокировки людей в Twitter, инструменты в браузере для обнаружения мошенничества и коллективные инструменты для различения дезинформации и правды, тем меньше нам придется бороться с цензурой. Чем быстрее мы можем производить вакцины, тем меньше нам придется преследовать людей за распространение инфекций. Такие решения не работают во всех областях — мы, конечно, не хотим мира, где каждому приходится носить буквально бронежилеты — но в областях, где мы можем создавать технологии, делающие мир более благоприятным для защиты, это имеет огромную ценность.

Эта ключевая идея, что некоторые технологии способствуют защите и заслуживают продвижения, в то время как другие технологии способствуют нападению и должны быть подавлены, имеет корни в литературе эффективного альтруизма под другим названием: дифференциальное развитие технологий. Ученые из Оксфордского университета в 2022 году хорошо изложили этот принцип:

Неизбежно будут недостатки в классификации технологий как нападающих-агрессивных, защитных или нейтральных. Как и в случае со «свободой», где можно спорить о том, уменьшают ли социал-демократические правительственные политики свободу, взимая тяжелые налоги и принуждая работодателей, или увеличивают свободу, уменьшая необходимость для среднестатистических людей беспокоиться о многих видах рисков, так и в случае с «защитой» есть технологии, которые могут попадать в обе категории. Ядерное оружие способствует нападению, но ядерная энергетика способствует процветанию человека и нейтральна в плане нападения-защиты. Разные технологии могут играть разные роли в разные временные горизонты. Но, как и в случае со «свободой» (или «равенством», или «верховенством закона»), неопределенность на краях не столько аргумент против принципа, сколько возможность лучше понять его нюансы.

Теперь давайте посмотрим, как применить этот принцип к более всеобъемлющему мировоззрению. Мы можем думать о защитных технологиях, как и о других технологиях, как о разделенных на две сферы: мир атомов и мир битов. Мир атомов, в свою очередь, можно разделить на микро (например, биологию, позже нанотехнологии) и макро (то, что мы обычно считаем «защитой», но также устойчивой физической инфраструктурой). Мир битов я разделю по другой оси: насколько сложно договориться, кто, в принципе, является нападающим? Иногда это легко; я называю это киберзащитой. В других случаях это сложнее; я называю это информационной защитой.

Макрофизическая защита

Наиболее недооцененной технологией защиты в макросфере не являются даже железные купола (включая новую систему Украины) и другое военное антитехническое и противоракетное оборудование, а устойчивая физическая инфраструктура. Большинство смертей от ядерной войны, скорее всего, будут вызваны нарушениями в цепочках поставок, а не первоначальным излучением и взрывом, и решения с низкой инфраструктурой, такие как Starlink, были критически важны для поддержания связи Украины в течение последнего полутора года.

Создание инструментов, помогающих людям выживать и даже жить комфортно независимо или полузависимо от длинных международных цепочек поставок, кажется ценной защитной технологией и одной из тех, которые маловероятно окажутся полезными для нападения.

Попытка сделать человечество многопланетной цивилизацией также может быть рассмотрена с точки зрения d/acc: проживание хотя бы некоторых из нас в условиях самодостаточности на других планетах может увеличить нашу устойчивость к чему-то ужасному, происходящему на Земле. Даже если полное видение окажется невозможным на данный момент, формы самодостаточного образа жизни, которые необходимо будет разработать для реализации такого проекта, также могут быть использованы для повышения устойчивости нашей цивилизации на Земле.

Микрофизическая защита (биологическая)

Covid продолжает вызывать озабоченность, особенно из-за своего долгосрочного влияния на здоровье. Но Covid — это далеко не последняя пандемия, с которой нам предстоит столкнуться; есть множество аспектов современного мира, которые делают вероятным скорое появление еще большего количества пандемий:

• Более высокая плотность населения значительно облегчает распространение воздушных вирусов и других патогенов. Эпидемические заболевания относительно новы в истории человечества, и большинство из них началось с урбанизацией всего несколько тысяч лет назад. Быстрая урбанизация означает, что плотность населения будет увеличиваться в течение следующего полувека.
• Увеличение авиаперелетов означает, что воздушные патогены распространяются очень быстро по всему миру. Быстрое обогащение людей означает, что авиаперелеты, скорее всего, будут увеличиваться еще больше в течение следующего полувека; моделирование сложности предполагает, что даже небольшие увеличения могут иметь резкие последствия. Изменение климата может еще больше увеличить этот риск.
• Домашнее животноводство и фабричное фермерство являются основными факторами риска. Корь, вероятно, эволюционировала из коровьего вируса менее 3000 лет назад. Современные фабричные фермы также выращивают новые штаммы гриппа (а также способствуют устойчивости к антибиотикам, что влияет на врожденный иммунитет человека).
• Современная биоинженерия облегчает создание новых и более вирулентных патогенов. Covid могла или не могла утечь из лаборатории, занимающейся намеренным исследованием «увеличения функциональности». Тем не менее, утечки из лабораторий происходят постоянно, и инструменты быстро совершенствуются, чтобы облегчить намеренное создание чрезвычайно смертоносных вирусов или даже прионов («зомби-белков»). Искусственные чумы особенно тревожны частично потому, что в отличие от ядерного оружия, они не поддаются определению: вы можете выпустить вирус, и никто не сможет сказать, кто его создал. В настоящее время возможно спроектировать генетическую последовательность, отправить ее во влажную лабораторию для синтеза и получить ее по почте в течение пяти дней.

Это область, в которой две организации (CryptoRelief и Balvi), созданные и профинансированные в результате случайного большого дохода от монет Shiba Inu в 2021 году, были очень активны. CryptoRelief изначально сосредоточилась на реагировании на непосредственный кризис и в последнее время занималась созданием долгосрочной экосистемы медицинских исследований в Индии, в то время как Balvi сосредоточилась на проектах, направленных на улучшение наших возможностей обнаружения, предотвращения и лечения Covid и других воздушных заболеваний. ++Balvi настаивала на том, что проекты, которые она финансирует, должны быть с открытым исходным кодом++. Вдохновляясь движением 19-го века по водному инженерному делу, которое победило холеру и другие водные патогены, она финансировала проекты по всему спектру технологий, которые могут сделать мир по умолчанию более защищенным от воздушных патогенов, включая:

• Исследования и разработки в области дальнего УФ-облучения
• Фильтрация воздуха и мониторинг качества воздуха в Индии, Шри-Ланке, США и других странах, а также ведется мониторинг качества воздуха
• Оборудование для дешевого и эффективного децентрализованного тестирования качества воздуха
• Исследования причин Длительного Covid и потенциальных вариантов лечения (первопричина может быть простой, но выяснение механизмов и поиск лечения сложнее)
• Вакцины (например, RaDVaC, PopVax) и исследование их осложнений
• Набор совершенно новых неинвазивных медицинских инструментов
• Раннее обнаружение эпидемий с использованием анализа открытых данных (например, EPIWATCH)
• Анализы, включая очень дешевые молекулярные экспресс-тесты
• Маски, соответствующие определенным требованием к биобезопасности, на случай, если другие подходы не сработают

Другие перспективные области интереса включают наблюдение за сточными водами на наличие патогенов, улучшение фильтрации и вентиляции в зданиях, а также лучшее понимание и смягчение рисков, связанных с плохим качеством воздуха.

Существует возможность создать мир, который по умолчанию будет намного более защищен от воздушных пандемий, как естественных, так и искусственных. Этот мир будет включать в себя высокооптимизированный процесс, в котором мы можем перейти от начала пандемии к ее автоматическому обнаружению, к доступу людей по всему миру к целевым, локально производимым и проверяемым вакцинам с открытым исходным кодом или другим профилактическим средствам, применяемым через небулизацию или назальный спрей (то есть самостоятельно применяемым при необходимости, без использования игл), все это в течение месяца. В то же время значительно лучшее качество воздуха резко снизит скорость распространения и предотвратит многие пандемии вообще.

Представьте себе будущее, которое не прибегает к крайним мерам социального принуждения — без мандатов и без риска плохо разработанных и реализованных правил, которые, возможно, ухудшают ситуацию, потому что инфраструктура общественного здравоохранения вплетена в ткань цивилизации. Это возможно, и средние инвестиции в биозащиту могли бы сделать это реальностью. Работа проходила бы еще более гладко, если бы разработки были с открытым исходным кодом, бесплатны для пользователей и защищены как общественные блага.

Киберзащита, блокчейн и криптография

Среди профессионалов в области безопасности общепризнано, что текущее состояние компьютерной безопасности довольно ужасно. Тем не менее, легко недооценить количество достигнутого прогресса. Сотни миллиардов долларов криптовалюты доступны для анонимного воровства любым, кто может взломать кошельки пользователей, и хотя теряется или крадется гораздо больше, чем мне хотелось бы, также является фактом, что большая часть этого остается неворованной более десяти лет. Относительно недавно был достигнут такой прогресс:

• Доверенные аппаратные чипы внутри телефонов пользователей, эффективно создающие гораздо более высокобезопасную операционную систему внутри телефона, которая может оставаться защищенной, даже если весь остальной телефон будет взломан. Среди многих других случаев использования, эти чипы все чаще исследуются как способ создания более безопасных криптовалютных кошельков.
• Браузеры как фактическая операционная система. За последние десять лет произошел тихий сдвиг от загружаемых приложений к приложениям в браузере. Это было в значительной степени обеспечено WebAssembly (WASM). Даже Adobe Photoshop, долгое время цитируемый как основная причина, по которой многие люди не могут практически использовать Linux из-за его необходимости и несовместимости с Linux, теперь дружелюбен к Linux благодаря нахождению в браузере. Это также большое преимущество в области безопасности: хотя у браузеров есть недостатки, в целом они обеспечивают гораздо больше изоляции, чем установленные приложения: приложения не могут получить доступ к произвольным файлам на вашем компьютере.
• Усиленные операционные системы. GrapheneOS для мобильных устройств существует и очень удобна в использовании. QubesOS для настольных ПК существует; на данный момент она несколько менее удобна, чем Graphene, по крайней мере, по моему опыту, но она улучшается.
• Попытки выйти за рамки паролей. К сожалению, пароли трудно защитить как из-за того, что их трудно запомнить, так и из-за того, что их легко перехватить. Наблюдается растущее движение к снижению акцента на паролях и к тому, чтобы действительно работала многофакторная аутентификация на основе аппаратного обеспечения.

Однако отсутствие киберзащиты в других сферах также привело к серьезным неудачам. Необходимость защиты от спама привела к тому, что электронная почта на практике стала очень олигополистичной, что очень затрудняет самостоятельное ведение или создание нового почтового провайдера. Многие онлайн-приложения, включая Twitter, требуют, чтобы пользователи входили в систему для доступа к контенту, и блокируют IP-адреса из VPN, что затрудняет доступ в Интернет таким образом, который защищает конфиденциальность. Централизация программного обеспечения также рискованна из-за «оружия взаимозависимости»: тенденция современных технологий к маршрутизации через централизованные узкие места и использованию операторами этих узких мест своей власти для сбора информации, манипулирования исходами или исключения конкретных актеров — стратегия, которая, кажется, даже в настоящее время используется против самой индустрии блокчейнов.

Это тревожные тенденции, потому что они угрожают тому, что исторически было одной из моих великих надежд, что будущее свободы и конфиденциальности, несмотря на глубокие компромиссы, может оказаться светлым. В своей книге «Несовершенное будущее» Дэвид Фридман предсказывает, что мы можем получить компромиссное будущее: мир вне сети будет все больше и больше контролироваться, но благодаря криптографии онлайн-мир сохранит и даже улучшит свою конфиденциальность. К сожалению, как мы видим, такая контртенденция далеко не гарантирована.

Здесь и проявляется мой акцент на криптографические технологии, такие как блокчейны и доказательства с нулевым разглашением. Блокчейны позволяют нам создавать экономические и социальные структуры с «общим жестким диском», не завися от централизованных действующих сил. Криптовалюта позволяет людям экономить деньги и совершать финансовые транзакции, как это было до интернета с наличными, без зависимости от доверенных третьих сторон, которые могут изменить свои правила по прихоти. Они также могут служить резервным механизмом противодействия атакам Sybil, делая атаки и спам дорогими даже для пользователей, которые не имеют или не хотят раскрывать свою идентичность в реальном мире. Абстракция аккаунтов, особенно кошельки с социальным восстановлением, могут защитить наши криптоактивы и потенциально другие активы в будущем, не полагаясь слишком сильно на централизованных посредников.

Доказательства с нулевым разглашением могут использоваться для обеспечения конфиденциальности, позволяя пользователям доказывать факты о себе, не раскрывая личную информацию. Например, обернуть цифровую подпись паспорта в ZK-SNARK, чтобы доказать, что вы являетесь уникальным гражданином данной страны, не раскрывая, каким именно гражданином вы являетесь. Технологии подобного рода позволяют нам сохранять преимущества конфиденциальности и анонимности — свойства, широко признанные как необходимые для действий, таких как голосование, — при этом обеспечивая гарантии безопасности и борьбу со спамом и злоумышленниками.

Zupass, зародившийся в Zuzalu ранее в этом году, является отличным примером этого на практике. Это приложение, которое уже использовалось тысячами людей в Zuzalu для продажи билетов на Devconnect, позволяет вам держать билеты, членства, (непередаваемые) цифровые коллекционные предметы и другие свидетельства, и доказывать все об этом, не нарушая вашу конфиденциальность. Например, вы можете доказать, что вы являетесь уникальным зарегистрированным жителем Zuzalu или обладателем билета на Devconnect, не раскрывая ничего другого о том, кто вы есть. Эти доказательства могут быть представлены лично, через QR-код, или цифровым способом, чтобы войти в приложения, такие как Zupoll, анонимизированная система голосования, доступная только жителям Zuzalu.

Эти технологии являются отличным примером принципов d/acc: они позволяют пользователям и сообществам проверять надежность, не нарушая конфиденциальность, и защищать их безопасность, не полагаясь на централизованные узкие места, которые навязывают свои собственные определения того, кто хороший и кто плохой. Они улучшают глобальную доступность, создавая лучшие и более справедливые способы защиты безопасности пользователя или сервиса, чем общепринятые методы, используемые сегодня, такие как дискриминация целых стран, считающихся ненадежными. Это очень мощные примитивы, которые могут быть необходимы, если мы хотим сохранить децентрализованное видение информационной безопасности, входя в 21-й век. Работа над защитными технологиями для киберпространства в более широком смысле может сделать интернет более открытым, безопасным и свободным в очень важных аспектах в будущем.

Инфо-защита

Киберзащита, как я ее описываю, касается ситуаций, когда разумным людям легко прийти к консенсусу о том, кто является атакующим. Если кто-то пытается взломать ваш кошелек, легко согласиться, что хакер — плохой парень. Если кто-то пытается атаковать сайт с помощью DoS, легко согласиться, что он действует злонамеренно и морально не равноценен обычному пользователю, пытающемуся прочитать, что находится на сайте. Есть и другие ситуации, где границы более размыты. Нужны инструменты для улучшения нашей защиты в этих ситуациях, которые я называю «инфо-защитой».

Возьмем, к примеру, проверку фактов (или предотвращение «дезинформации»). Я большой поклонник Community Notes, которые многое сделали, чтобы помочь пользователям определить правду и ложь в твитах других пользователей. Community Notes использует новый алгоритм, который выделяет не самые популярные заметки, а те, которые наиболее одобрены пользователями по всему политическому спектру.

Я также поклонник рынков прогнозов, которые могут помочь определить значимость событий в реальном времени, до того как уляжется пыль и будет достигнут консенсус относительно того, какое направление верное. Polymarket на Сэме Альтмане очень полезен для предоставления полезного резюме окончательных последствий событий, происходящих каждый час, давая необходимый контекст людям, которые видят только отдельные новостные сообщения и не понимают их значимость.

Рынки прогнозов часто имеют недостатки. Но влиятельные пользователи Twitter, которые уверенно выражают свое мнение о том, что «будет» происходить в течение следующего года, часто еще более ошибочны. Есть еще место для значительного улучшения рынков прогнозов. Например, одним из основных практических недостатков рынков прогнозов является их низкий объем на всех, кроме самых заметных событий; естественным направлением для решения этой проблемы было бы использование рынков прогнозов, на которых играют искусственные интеллекты.

В области блокчейна есть особый вид защиты информации, который, как мне кажется, нам нужно значительно расширить. А именно, кошельки должны быть более многогранными и активными в помощи пользователям в определении значения того, что они подписывают, и защищают их от мошенничества и афер. Это промежуточный случай: что является и не является аферой, менее субъективно, чем взгляды на спорные социальные события, но более субъективно, чем различение легитимных пользователей от атакующих DoS или хакеров. У Metamask уже есть база данных о мошенничестве, и она автоматически блокирует пользователей от посещения мошеннических сайтов:

Приложения вроде Fire — это пример того, как можно пойти намного дальше. Однако такое программное обеспечение для безопасности не должно требовать явной установки; оно должно быть частью криптовалютных кошельков или даже браузеров по умолчанию.

Из-за своей более субъективной природы защита информации по своей сути более коллективна, чем киберзащита: вам нужно каким-то образом подключиться к большой и продвинутой группе людей, чтобы определить, что может быть правдой или ложью, и какое приложение является обманной финансовой пирамидой. Это предоставляет разработчикам возможность значительно продвинуться в разработке эффективной защиты информации и укреплении существующих форм защиты информации. Что-то вроде Community Notes может быть включено в браузеры и покрывать не только социальные медиа-платформы, но и весь интернет.

Социальные технологии за рамками «защиты»

В какой-то степени меня можно справедливо обвинить в натягивании совы на глобус, описывая некоторые из этих информационных технологий как связанные с «защитой». В конце концов, защита — это помощь добронамеренным сторонам в защите от злонамеренных (или, в некоторых случаях, от природы). Однако некоторые из этих социальных технологий направлены на помощь добронамеренным сторонам в формировании консенсуса.

Хорошим примером этого является pol.is, который использует алгоритм, аналогичный Community Notes (и предшествующий им) для помощи сообществам в выявлении точек согласия между подгруппами, которые в остальном не согласны друг с другом. Viewpoints.xyz был вдохновлен pol.is и имеет схожий дух:

Технологии подобного рода могут использоваться для обеспечения более децентрализованного управления спорными решениями. Опять же, сообщества, работающие с блокчейном, являются хорошей испытательной площадкой для этого, и единственной, где подобные алгоритмы уже показали свою ценность. Обычно решения о том, какие улучшения («EIPs») следует внести в протокол Ethereum, принимаются довольно небольшой группой на встречах, называемых «Звонки всех основных разработчиков». Для высокотехнологичных решений, по которым у большинства членов сообщества нет сильных чувств, это работает довольно хорошо. Для более значимых решений, которые влияют на экономику протокола или на более фундаментальные ценности, такие как неизменность и сопротивление цензуре, этого часто недостаточно. Ранее в 2016-17 годах, когда происходил ряд спорных решений вокруг реализации форка DAO, сокращения эмиссии и (не)размораживания кошелька Parity, инструменты вроде Carbonvote, а также голосование в социальных медиа, помогли сообществу и разработчикам увидеть, какой путь предпочитает большинство сообщества.

У Carbonvote были свои недостатки: он опирался на владение ETH для определения членства в сообществе Ethereum, из-за чего исход голосования зависел от нескольких богатых владельцев ETH («китов»). Однако, используя современные инструменты, мы могли бы создать гораздо более совершенный Карбонвот, учитывая множество сигналов, таких как POAPs, печати Zupass, паспорта Gitcoin, членство в Protocol Guild, а также владение ETH (или даже самостоятельно стейкнутым ETH), чтобы оценить членство в сообществе.

Такие инструменты могут использоваться любым сообществом для принятия более качественных решений, нахождения точек соприкосновения, координации (физических или цифровых) миграций или выполнения ряда других задач без опоры на непрозрачное централизованное руководство. Это не оборонительное ускорение как таковое, но это определенно можно назвать ускорением демократии. Такие инструменты могут даже использоваться для улучшения и демократизации управления ключевыми деятелями и институтами, работающими в области ИИ.

Так каковы же пути вперед для суперинтеллекта?

Вышесказанное хорошо и полезно, и может сделать мир гораздо более гармоничным, безопасным и свободным на протяжении следующего столетия. Однако это пока не решает главной проблемы: суперинтеллектуального ИИ.

Стандартный путь вперед, предложенный многими из тех, кто беспокоится о ИИ, ведет к минимальному мировому правительству ИИ. Ближайшими примерами этого являются предложения о «многонациональном консорциуме ИИ» («MAGIC»). Такой консорциум, если он будет создан и достигнет своих целей в создании суперинтеллектуального ИИ, естественно превратится в де-факто минимальное мировое правительство. В более долгосрочной перспективе есть идеи, такие как теория «решающего действия»: мы создаем ИИ, который выполняет однократный акт, перестраивающий мир в игру, в которой с этого момента люди все еще остаются у власти, но где игровое поле каким-то образом более благоприятно для обороны и более подходит для процветания человека.

Основная практическая проблема, которую я вижу на данный момент, заключается в том, что люди, кажется, на самом деле не доверяют ни одному конкретному механизму управления властью создавать подобное. Этот факт становится явным, когда вы смотрите на результаты моих недавних опросов в Twitter, спрашивая, предпочли бы люди монополизацию ИИ одной организацией с десятилетним отрывом или задержку ИИ на десятилетие для всех:

Выборка каждого опроса мала, но опросы компенсируют это единообразием своих результатов среди широкого разнообразия источников и вариантов. В девяти из девяти случаев большинство людей предпочли бы увидеть задержку развития высокоразвитого ИИ на десять лет, чем его монополизацию одной группой, будь то корпорация, правительство или многонациональное сообщество. В семи из девяти случаев задержка победила как минимум два к одному. Это кажется важным фактом для понимания любым, кто занимается регулированием ИИ. Текущие подходы сосредоточены на создании лицензионных схем и нормативных требований, пытаясь ограничить разработку ИИ меньшим числом людей, но они столкнулись с популярным сопротивлением именно потому, что люди не хотят видеть монополизацию чего-то столь мощного. Даже если такие предложения сверху вниз уменьшат риски вымирания, они увеличивают шанс некоторого рода постоянного застоя в централизованном тоталитаризме. Парадоксально, могут ли быть более популярными соглашения, запрещающие исследования чрезвычайно продвинутого ИИ (возможно, с исключениями для биомедицинского ИИ), в сочетании с мерами, такими как обязательное использование открытого исходного кода для тех моделей, которые не запрещены, как способ уменьшения мотивов прибыли, при этом улучшая равноправие доступа?

Основной подход, предпочитаемый противниками пути «давайте одной глобальной организации заняться ИИ и сделать его управление действительно хорошим», — это политеистический ИИ: преднамеренно пытаться убедиться, что много людей и компаний разрабатывают много ИИ, так что ни один из них не станет намного мощнее других. Таким образом, теория гласит, даже если ИИ станут суперинтеллектуальными, мы сможем сохранить баланс сил.

Эта философия интересна, но мой опыт в попытках обеспечить «политеизм» в экосистеме Ethereum заставляет меня беспокоиться о том, что это принципиально неустойчивое равновесие. В Ethereum мы намеренно старались обеспечить децентрализацию многих частей системы: гарантировать, что нет единого кода, контролирующего более половины сети proof of stake, пытаться противодействовать доминированию крупных пулов стейкинга, улучшать географическую децентрализацию и так далее. По сути, Ethereum пытается реализовать старую либертарианскую мечту о рыночном обществе, которое использует социальное давление, а не государство, в качестве антимонопольного регулятора. В какой-то степени это сработало: доминирование клиента Prysm снизилось с более чем 70% до менее 45%. Но это не автоматический рыночный процесс: это результат человеческого намерения и скоординированных действий.

Мой опыт в Ethereum отражает уроки из более широкого мира в целом, где многие рынки оказались естественными монополиями. С суперинтеллектуальными ИИ, действующими независимо от людей, ситуация становится еще более нестабильной. Благодаря рекурсивному самосовершенствованию, самый мощный ИИ может быстро вырваться вперед, и когда ИИ станут мощнее людей, не будет силы, способной вернуть вещи в равновесие.

Кроме того, даже если нам удастся создать политеистический мир суперинтеллектуальных ИИ, который окажется стабильным, у нас все равно останется другая проблема: мы получим вселенную, где люди — домашние животные.

Счастливый путь: слияние с ИИ?

Другой вариант, о котором я недавно услышал, — это меньше сосредотачиваться на ИИ как на чем-то отдельном от людей и больше на инструментах, улучшающих человеческое познание, а не заменяющих его.

Одним из примеров такого направления в ближайшем будущем являются инструменты для рисования с ИИ. Сегодня наиболее известные инструменты для создания изображений с помощью ИИ предлагают только один этап, на котором человек вносит свой вклад, а затем ИИ полностью берет на себя управление. Альтернативой было бы больше сосредоточиться на версиях ИИ Photoshop: инструментах, где художник или ИИ могут сделать ранний набросок картины, а затем двое сотрудничают над ее улучшением в процессе обратной связи в реальном времени.

Другое направление в аналогичном духе — это архитектура Open Agency, которая предлагает разделить различные части «разума» ИИ (например, планирование, выполнение планов, интерпретацию информации из внешнего мира) на отдельные компоненты и вводить разнообразную обратную связь от людей между этими частями.

До сих пор это звучит обыденно, и почти все могут согласиться с тем, что было бы хорошо иметь помощника в виде таких ИИ. Работа экономиста Дарона Аджемоглу далека от такого рода футуризма ИИ, но его новая книга «Власть и Прогресс» намекает на желание видеть больше именно таких типов ИИ.

Но если мы хотим дальше экстраполировать эту идею сотрудничества человека и ИИ, мы приходим к более радикальным выводам. Если мы не создадим достаточно мощное мировое правительство, способное обнаруживать и останавливать каждую маленькую группу людей, занимающихся взломом на отдельных GPU с ноутбуками, кто-то в конечном итоге создаст суперинтеллектуальный ИИ — такой, который может думать в тысячу раз быстрее, чем мы — и никакое сочетание людей, использующих инструменты своими руками, не сможет противостоять этому. Поэтому нам нужно углублять и расширять эту идею сотрудничества человека и компьютера.

Первым естественным шагом являются интерфейсы мозг-компьютер. Интерфейсы мозг-компьютер могут дать людям гораздо более прямой доступ к все более мощным формам вычислений и познания, уменьшая двусторонний коммуникационный цикл между человеком и машиной с секунд до миллисекунд. Это также значительно уменьшит «умственные усилия», необходимые для того, чтобы компьютер помог вам собирать факты, давать предложения или выполнять план.

Более поздние этапы такого плана, признаю, становятся странными. Помимо интерфейсов мозг-компьютер, существуют различные пути улучшения наших мозгов напрямую через инновации в биологии. В конечном итоге дальнейшим шагом, объединяющим оба пути, может стать загрузка наших умов прямо на компьютеры. Это также будет окончательным d/acc для физической безопасности: защита себя от вреда больше не будет сложной проблемой защиты неизбежно уязвимых человеческих тел, а скорее гораздо более простой проблемой создания резервных копий данных.

Такие направления иногда вызывают беспокойство, частично потому, что они необратимы, и частично потому, что они могут дать некоторым людям больше преимуществ перед остальными. В частности, интерфейсы мозг-компьютер имеют опасности – в конце концов, мы говорим о буквальном чтении и записи в человеческий разум. Именно эти опасения являются причиной, по которой я считаю, что было бы идеально, чтобы ведущую роль на этом пути занимало движение с открытым исходным кодом, сосредоточенное на безопасности, а не закрытые и проприетарные корпорации и венчурные фонды. Кроме того, все эти проблемы усугубляются суперинтеллектуальными ИИ, действующими независимо от людей, по сравнению с улучшениями, тесно связанными с людьми. Разделение между «усовершенствованными» и «неусовершенствованными» уже существует сегодня из-за ограничений в том, кто может и не может использовать ChatGPT.

Если мы хотим будущего, которое одновременно суперинтеллектуально и «человечно», где человеческие существа не просто домашние животные, но на самом деле сохраняют значимый контроль над миром, то кажется, что что-то вроде этого является наиболее естественным вариантом. Также есть хорошие аргументы, почему это может быть более безопасным путем выравнивания ИИ: вовлекая человеческий отзыв на каждом этапе принятия решений, мы уменьшаем стимул переложить ответственность за высокоуровневое планирование на сам ИИ, тем самым уменьшая шанс, что ИИ сделает что-то совершенно несоответствующее ценностям человечества самостоятельно.

Еще один аргумент в пользу этого направления заключается в том, что оно может быть более социально приемлемым, чем просто крики «остановите ИИ» без дополнительного сообщения, предлагающего альтернативный путь вперед. Это потребует философского сдвига от текущего менталитета, согласно которому технологические достижения, затрагивающие людей, опасны, но достижения, отделенные от людей, по умолчанию безопасны. Но у этого есть огромное компенсирующее преимущество: это дает разработчикам занятие. Сегодня основное послание движения безопасности ИИ для разработчиков ИИ, кажется, заключается в том, что «вы должны просто остановиться». Можно работать над исследованиями по выравниванию, но сегодня это не имеет экономических стимулов. По сравнению с этим, общее сообщение e/acc о том, что «вы уже герой таким, какой вы есть», понятно крайне привлекательно. Сообщение d/acc, которое гласит «вы должны строить и создавать прибыльные вещи, но быть гораздо более избирательными и намеренными, убедившись, что вы создаете вещи, которые помогают вам и человечеству процветать», может быть победителем.

Совместим ли d/acc с вашей существующей философией?

• Если вы e/acc, то d/acc — это подвид e/acc, только более избирательный и намеренный.
• Если вы эффективный альтруист, то d/acc — это переосмысление идеи эффективного альтруизма о дифференцированном развитии технологий, но с большим акцентом на либеральные и демократические ценности.
• Если вы либертарианец, то d/acc — это подвид техно-либертарианства, но более прагматичный, который более критичен к «техно-капиталистической машине» и готов принять государственное вмешательство сегодня (по крайней мере, если культурные вмешательства не работают), чтобы предотвратить гораздо худшее недостаток свободы завтра.
• Если вы плюралист в смысле Глена Вейля, то d/acc — это рамка, которая легко может включать акцент на улучшенной демократической координации технологий, которые ценит Плюрализм.
• Если вы сторонник общественного здравоохранения, то идеи d/acc могут быть источником более широкого долгосрочного видения и возможности найти общий язык с «технарями», с которыми вы в противном случае могли бы ощущать разногласия.
• Если вы сторонник блокчейна, то d/acc — это более современный и широкий нарратив, чем пятнадцатилетний акцент на гиперинфляции и банках, который помещает блокчейны в контекст как один из многих инструментов в конкретной стратегии строительства к светлому будущему.

• Если вы приверженец соларпанка, то d/acc является подвидом соларпанка и включает в себя аналогичный акцент на намеренности и коллективных действиях.
• Если вы приверженец лунарпанка, то вы оцените акцент d/acc на защите информации, через поддержание приватности и свободы.

Мы — самая яркая звезда

Я люблю технологии, потому что технологии расширяют человеческие возможности. Десять тысяч лет назад мы могли строить простые инструменты, менять то, какие растения растут на небольшом участке земли, и строить простые дома. Сегодня мы можем строить башни высотой 800 метров, хранить всё записанное человеческое знание в устройстве, которое мы можем держать в руках, мгновенно общаться по всему миру, удваивать продолжительность жизни и жить счастливой и полноценной жизнью без страха перед тем, что наши лучшие друзья регулярно умирают от болезней.

Я верю, что все это хорошо на глубоком уровне, и что расширение досягаемости человечества даже дальше, к планетам и звездам, также природно хорошо, потому что я верю, что человечество в своей сути хорошее. В некоторых кругах модно быть скептичным по этому поводу: движение за добровольное вымирание человечества утверждает, что Земле было бы лучше без существования людей вообще, и многие хотят видеть гораздо меньшее количество людей, видящих свет этого мира в предстоящие столетия. Распространено мнение, что люди плохи, потому что мы обманываем и крадем, занимаемся колониализмом и войной, плохо обращаемся и уничтожаем другие виды. Мой ответ на этот стиль мышления — один простой вопрос: по сравнению с чем?

Да, люди часто бывают злы, но гораздо чаще мы проявляем доброту и милосердие, и работаем вместе ради нашего общего блага. Даже во время войн мы часто стараемся защитить мирных жителей — конечно, не в достаточной степени, но гораздо больше, чем это было 2000 лет назад. Следующее столетие может принести широко доступное мясо без вреда для животных, устраняя самую большую моральную катастрофу, за которую справедливо могут обвинять человечество сегодня. Не-человеческие животные не такие. Нет такой ситуации, когда кошка примет образ жизни отказа от еды мышей по этическим принципам. Солнце становится ярче с каждым годом, и примерно через миллиард лет ожидается, что оно сделает Землю слишком жаркой для поддержания жизни. Размышляет ли Солнце о геноциде, который оно собирается вызвать?

Поэтому я твердо верю, что из всего, что мы знаем и видим в нашей Вселенной, мы, люди, являемся самой яркой звездой. Мы — единственное, о чем мы знаем, что, пусть и несовершенно, иногда прилагает искренние усилия, чтобы заботиться о «добре» и корректировать свое поведение, чтобы лучше служить ему. Через два миллиарда лет, если Земля или любая часть Вселенной все еще будет нести красоту земной жизни, это будут человеческие изобретения, такие как космические путешествия и геоинженерия, которые сделают это возможным.

Нам нужно строить и ускоряться. Но есть очень важный вопрос, который нужно задать: к чему мы стремимся с этим ускорением? XXI век может оказаться решающим столетием для человечества, столетием, в котором решится наша судьба на тысячелетия вперед. Попадем ли мы в одну из многочисленных ловушек, из которых мы не сможем выбраться, или найдем путь к будущему, где мы сохраним нашу свободу и агентность? Это сложные проблемы. Но я с нетерпением жду, когда смогу наблюдать и участвовать в великом коллективном усилии нашего вида, чтобы найти ответы.