Станислав Лем
Сумма технологии

Полная версия

Черный ящик

В древние времена каждый человек знал и назначение и устройство своих орудий: молотка, лука, стрелы^[96]. Прогрессирующее разделение труда уменьшало это индивидуальное знание, и в современном промышленном обществе существует отчетливая граница между теми, кто обслуживает устройства (рабочие, техники) или пользуется ими (человек в лифте, у телевизора, за рулем автомашины), и теми, кто знает их конструкцию. Ни один из ныне живущих не знает устройства всех орудий, которыми располагает цивилизация. Тем не менее некто, знающий все, существует – это общество. Знание, частичное у отдельных людей, становится полным, если учесть всех членов данного общества.

Однако процесс отчуждения, процесс изымания сведений об орудиях из общественного сознания развивается. Кибернетика продолжает этот процесс, поднимая его на более высокую ступень. Ибо в принципе возможно создать такие кибернетические устройства, структуру которых не будет знать уже никто. Кибернетическое устройство превращается в «черный ящик» (термин, который охотно употребляют специалисты). «Черный ящик», например, может быть регулятором, подключенным к определенному процессу (к процессу производства товаров или к процессу их экономического круговорота, к процессам управления транспортом, лечением болезни и т. п.). Необходимо лишь, чтобы определенным состояниям «входа» отвечали вполне определенные состояния «выхода» – и ничего более. Создаваемые пока что «черные ящики» настолько просты, что инженер-кибернетик знает характер связи между величинами на их «входах» и «выходах». Эта связь выражается какой-нибудь математической функцией. Возможна, однако, и такая ситуация, когда даже конструктор не будет знать математического выражения этой функции. Его задачей будет создать «черный ящик», выполняющий определенные регулирующие действия. Однако ни конструктор, ни кто-либо иной не будет знать, как «черный ящик» выполняет эти действия. Математический вид функции, выражающей зависимость состояний «выходов» от состояний «входов», не будет известен никому, причем не потому, что узнать это невозможно, а потому, что знать это не нужно^[97].

Неплохим введением в проблематику «черного ящика» может служить рассказ о сороконожке, которую спросили, как это она помнит, какую ногу ей нужно поднять после двадцать седьмой. Сороконожка, как известно, надолго задумалась над этим и, не сумев найти ответ, умерла с голоду, потому что больше уже не могла сдвинуться с места. Эта сороконожка является в действительности «черным ящиком», который выполняет определенные действия, хотя и «не имеет понятия», как он их выполняет. Принцип действия «черного ящика» является необычайно общим и, как правило, очень простым, выраженным фразами вроде «сороконожки ходят» или «кошки ловят мышей». «Черный ящик» обладает определенной «внутренней программой» действия, которая определяет все отдельные акты его поведения.

Современный технолог начинает конструкторскую работу с составления соответствующих планов и расчетов. Мост, локомотив, дом, реактивный истребитель или ракета создаются, таким образом, как бы дважды: сначала теоретически, на бумаге, а потом в действительности – когда символический язык чертежей и планов или алгоритм поведения «переводится» в последовательность материальных действий.

«Черный ящик» нельзя запрограммировать с помощью алгоритма. Алгоритм – это раз навсегда составленная программа действий, в которой все заранее предусмотрено. Выражаясь популярно, алгоритм – это точное, воспроизводимое, поддающееся исполнению предписание, определяющее – шаг за шагом, – каким путем надлежит решать данную задачу. Алгоритмом является любое формализованное доказательство математической теоремы, равно как и программа цифровой машины, переводящей с одного языка на другой. Понятие алгоритма возникло в математике, и применительно к инженерному делу я употребляю его несколько вопреки обыкновению. Алгоритм математика-теоретика никогда не может «подвести»: тот, кто однажды разработал алгоритм математического доказательства, может быть уверен, что это доказательство никогда не «подведет». Прикладной алгоритм, которым пользуется инженер, может и подвести, потому что в нем «все предусмотрено заранее» только внешне. Мосты рассчитывают на прочность по определенным алгоритмам, что, однако, не гарантирует их абсолютной сохранности. Мост может обрушиться, если на него действуют силы, превосходящие те, которые предусмотрел конструктор. Во всяком случае, имея алгоритм некоторого процесса, мы можем исследовать – в заданных границах – все последовательные фазы, все этапы этого процесса.

Так вот, применительно к очень сложным системам, таким как общество, мозг или еще не существующие «очень большие черные ящики», подобное исследование невозможно^[98]. Такого рода системы не имеют алгоритмов. Как это нужно понимать? Ведь любая система, а значит, и мозг, и общество всегда ведут себя каким-то определенным образом. Способ поведения всегда можно изобразить с помощью символов. Это так, вне всякого сомнения. Только в данном случае это ничего не дает, поскольку алгоритм должен быть воспроизводимым. Он должен позволять предвидеть будущие состояния, между тем как одно и то же общество, поставленное дважды в одну и ту же ситуацию, совсем не обязано вести себя одинаково. И именно так обстоит дело со всеми системами очень высокой сложности.

Как можно строить такие «черные ящики»? Мы знаем, что это в принципе возможно. Возможно построить систему произвольной степени сложности без всяких предварительных планов, расчетов, без поиска алгоритмов. Мы это знаем, потому что сами являемся такими «черными ящиками». Наше тело подвластно нам, мы можем отдавать ему определенные приказы, хотя и не знаем его внутреннего строения (точнее говоря, не обязаны знать; знание такого рода не является необходимым). Мы возвращаемся к ситуации прыгуна, который умеет прыгать, хотя и не знает, как он это делает, то есть не располагает сведениями о динамике нервно-мышечных импульсов, результатом которых является прыжок. Итак, великолепным примером устройства, которым можно пользоваться, не располагая его алгоритмом, является каждый человек. Одним из «самых близких нам» во всем Космосе устройств подобного рода является наш собственный мозг: он находится у нас в голове. Тем не менее по сей день неизвестно в деталях, как он работает. Изучение его механизмов с помощью самонаблюдения – метод в высшей степени ненадежный (как показывает история психологии), сбивающий на самые неправдоподобные гипотезы. Мозг построен так, что, обслуживая наши действия, сам остается «в тени». Конечно, дело тут не в коварстве нашего конструктора, Природы, это просто результат естественного отбора: именно он наделил нас способностью мыслить, потому что она была эволюционно полезна. Поэтому мы мыслим, хотя и не знаем, как это происходит, – ведь наделять нас подобными сведениями не входило в «расчеты» эволюции. Она ничего не скрывала; она лишь устранила из поля своей деятельности всякое знание – с ее «точки зрения», лишнее. Ну а если оно не лишнее с нашей точки зрения – что ж, нам придется добывать его самим.

Таким образом, предлагаемое кибернетикой необычное решение, согласно которому машина полностью исключена из сферы человеческого знания, в «популярной» форме, и притом весьма давно, было представлено Природой.

Пусть так, скажет кто-нибудь, но человеку его «черный ящик», его тело и мозг, стремящийся к оптимальному решению жизненных проблем, дала Природа, создав их в результате проб и ошибок, продолжавшихся миллиарды лет. Должны ли мы пытаться скопировать плоды ее творчества? И если да, то каким образом? Нельзя же всерьез предлагать повторение – на сей раз техническое – эволюции! Такая «кибернетическая эволюция» поглотила бы если не миллиарды, то миллионы, да пусть даже сотни тысяч лет… И как вообще начать это дело? Атаковать ли эту задачу с биологической стороны или же с небиологической?

У нас нет ответа. По-видимому, нужно будет испытывать всевозможные пути, особенно те, которые по различным причинам были для эволюции закрыты. Однако в наши планы не входит фантазировать на тему о том, какие «черные ящики» мыслимы в процессе технологической эволюции. Известно, что только очень сложный регулятор может справиться с очень сложной системой. Поэтому нужно искать именно такие регуляторы – в биохимии, в живых клетках, в молекулярной структуре твердого тела, везде, где это возможно. Мы знаем, следовательно, чего мы хотим и что ищем. Мы знаем также от нашего репетитора Природы, что задачу можно решить. Таким образом, мы знаем столько, что уже одно это означает половину успеха.

О морали гомеостатов

Пришло время ввести в сферу наших кибернетических рассуждений моральную проблематику. Ситуация на самом деле обратная: не мы вносим вопросы этики в кибернетику, а она, кибернетика, разрастаясь, охватывает своими последствиями в числе прочего то, что мы называем моралью, то есть систему критериев, дающих оценку действиям, причем оценку – с объективной точки зрения – произвольную. Мораль в той же мере произвольна, как и математика, поскольку обе выводятся с помощью логических рассуждений из принятых аксиом. Можно, например, принять за одну из аксиом геометрии, что через точку, лежащую вне прямой, проходит только одна прямая, параллельная данной. Можно отбросить эту аксиому, и тогда мы получим неевклидову геометрию. Самое главное – отдавать себе отчет, когда именно мы поступаем согласно принятым заранее условиям (как при выборе геометрических аксиом), поскольку эти условия, этот выбор зависят от нас. Можно принять за одну из аксиом морали, что необходимо уничтожать детей с врожденными физическими уродствами. Тогда мы получим известную из истории «тарпейскую мораль», которая в результате скандала, разразившегося в связи с талидомидом, в последние годы подверглась страстному обсуждению и была окончательно отброшена. Часто говорят, что существуют внеисторические моральные императивы. С этой точки зрения «тарпейская мораль», даже в наиболее смягченной форме (например, постулат эвтаназии людей, испытывающих муки вследствие неизлечимых болезней), будет аморальной, будет преступлением, злом. В действительности же тут происходит оценка одной системы морали с позиций другой. Разумеется, мы выбираем другую, «нетарпейскую» систему; но коль скоро мы признаем, что и она возникла в процессе общественной эволюции человека, а не дана нам свыше, мы должны признать и тот факт, что в истории применялись и другие системы. Вопрос о расхождении морали провозглашаемой и морали практикуемой вносит осложнения в эту проблему, но они нас не интересуют, ибо мы ограничимся только описанием реальных действий, исключая их вполне возможный камуфляж, или, проще говоря, дезинформацию. Тот, кто дезинформирует, провозглашает на словах не ту мораль, которую применяет на деле. Сама потребность в дезинформации указывает на то, что определенные моральные аксиомы безраздельно господствуют в общественном сознании, в противном случае не было бы нужды в искажении фактов. Но даже сами факты могут в различных цивилизациях получить диаметрально противоположную оценку. Сравним моральные аспекты современной проституции и вавилонской. Вавилонские храмовые блудницы отдавались не для личного заработка, а по «высшим мотивам» – их религия одобряла такое поведение. Оно было в полном согласии с моралью, вытекавшей из этой религии. Тем самым в рамках своего времени и своего общества они не подлежали осуждению – в противоположность современным куртизанкам, ибо по сегодняшним моральным критериям проституция – это зло. Таким образом, одна и та же деятельность получает две прямо противоположные оценки в пределах двух различных культур.

Введение кибернетической автоматизации влечет за собой довольно неожиданные моральные проблемы. Стаффорд Бир^[99], один из пионеров в области кибернетизации больших капиталистических предприятий, постулировал возможность создания «фирмы-гомеостата» и в качестве примера рассмотрел теорию регулирования деятельности большого сталелитейного производства. «Мозг» такого предприятия должен так оптимизировать все процессы, из которых складывается выплавка стали, чтобы производство было наиболее продуктивным, эффективным и независимым как от колебаний предложения (рабочей силы, руды, угля и т. д.) и спроса, так и от внутренних изменений в системе (неравномерность процесса производства, нежелательный рост себестоимости изделий). Согласно представлениям Бира, такая производственная единица должна быть ультрастабильным гомеостатом, который немедленно реагирует на всякое отклонение от равновесия изменением внутренней организации и тем самым возвращается к равновесию. Оппоненты-специалисты, которым эта теоретическая модель была представлена, обратили внимание на то, что ей недостает «религии». Бир сознательно смоделировал это предприятие-гомеостат по принципу действия живого организма. Но в природе единственным, по существу, критерием «ценности» организма является его способность к выживанию любой ценой. Иначе говоря, при случае также и ценой пожирания других организмов. Натуралист, понимая, что в Природе не существует «системы моральных оценок», не считает поведение голодных хищников аморальным. Таким образом, возникает вопрос: «может ли», то есть «имеет ли право» «организм-предприятие» в случае нужды «пожирать» своих конкурентов? Имеется много таких вопросов, правда, возможно, не столь острых. К чему должно стремиться такое гомеостатическое предприятие – к максимальной производительности или к максимальной прибыли? А что, если с ходом времени неизбежные технологические сдвиги сделают производство стали ненужным? Должна ли «тенденция к выживанию», вмонтированная в «мозг» такой производственной системы, привести к ее полной перестройке, так чтобы, например, она сама преобразовала себя в производителя пластмасс?^[100] Чем должна руководствоваться такая система при подобной плотной реорганизации – степенью максимальной общественной полезности? Или опять-таки величиной прибыли?

Бир избегает ответов на подобные вопросы. Он говорит, что над «мозгом» предприятия стоит еще наблюдательный совет владельцев, который и принимает самые общие и важные решения. «Мозг» призван только оптимально реализовывать эти решения. Тем самым Бир отрекается от «автономноорганизменного» принципа, входящего в его концепцию, и выносит все моральные проблемы за пределы «черного ящика»: в сферу деятельности наблюдательного совета. Но это только кажущийся выход. «Черный ящик», даже ограниченный таким способом, все равно будет принимать решения морального характера, например при увольнении рабочих или снижении заработной платы, коль скоро этого потребует принцип оптимального функционирования предприятия как целого. Легко представить себе также, что предприятие-гомеостат Бира может вступить в «борьбу за существование» с другими предприятиями, которые спроектированы кибернетиками, состоящими на службе у других корпораций. Либо все эти машины будут настолько ограничены в своей деятельности, что им придется непрестанно обращаться за решением к «менеджеру»-человеку (например, запрашивать его, скажем, о том, можно ли сокрушить конкурента, если подвернулся случай), либо же их деятельность, обремененная моральными последствиями, будет расширяться. В первом случае нарушается основной принцип саморегуляции гомеостата-производителя. Во втором случае гомеостаты начнут оказывать на судьбу людей влияние, очень часто непредвиденное их творцами, и дело может дойти до краха экономики страны в целом просто потому, что какой-то из гомеостатов слишком хорошо справляется с порученным ему делом, сметая всех своих конкурентов.

Почему в первом случае оказывается нарушенным принцип действия «черного ящика»? Потому что такой «ящик», такой регулятор нисколько не похож на человека – в том смысле, что ему нельзя задавать вопросы об общественных последствиях принимаемых им на каждом этапе решений и ожидать, что он сможет ответить на эти вопросы. Кстати говоря, даже человек-«менеджер» зачастую не знает этих отдаленных результатов своей деятельности. «Черный ящик», который должен «помочь выжить» предприятию, реагируя на всевозможные флуктуации «входов» (цены на уголь, руду, машины, зарплату) и «выходов» (рыночных цен на сталь, спроса на различные ее сорта), и «черный ящик», который к тому же учитывал бы интересы рабочих, а может быть, даже и конкурентов, – это два совсем разных устройства. Первое как производитель будет эффективнее второго. Вред, который гомеостаты наносят рабочим, можно, разумеется, ограничить, введя в исходную программу (в «аксиоматическое ядро» поведения) статьи трудового законодательства, обязательного для всех выступающих на рынке производителей; но тем самым может быть увеличен вред для конкурирующих фирм или производителей стали в других странах. Однако самое важное состоит в том, что «черный ящик» не знает, когда именно он действует во вред кому-то, и от него нельзя требовать, чтобы он информировал людей о таких последствиях принимаемых им решений; ведь ex definitione^[101] никто из людей, в том числе и конструктор-проектировщик, не знает его внутренних состояний. Внедрение гомеостатических регуляторов приводит к последствиям такого рода. Их-то и имел в виду Норберт Винер^[102], когда в новом издании своего основополагающего труда «Кибернетика» посвятил отдельную главу непредвиденным результатам деятельности гомеостатов. Могло бы показаться, что опасность такого рода можно устранить в зародыше, создав «черный ящик» высшего типа в качестве «машины для управления», но не людьми, а подчиненными ей «черными ящиками» отдельных производителей. Последствия такого шага оказываются чрезвычайно интересными.

Опасности электрократии

Итак, стремясь избежать общественно вредных результатов, к которым приводит деятельность «черных ящиков» в качестве регуляторов отдельных производственных единиц, мы возводим на трон экономической власти Черный ящик – Регулятор наивысшего ранга. Предположим, что он ограничивает свободу производственных регуляторов и неким программированием, равносильным законодательству, заставляет их соблюдать законы о труде, быть лояльным по отношению к конкурентам, стремиться ликвидировать резервную армию труда (то есть безработицу) и так далее. Возможно ли это? Теоретически – да. На практике, однако, такое программирование обременено огромным числом, мягко говоря, «неувязок».

Черный ящик, как очень сложная система, не поддается описанию; алгоритм его никому не известен и не может быть известен, его действия носят вероятностный характер, и, значит, поставленный дважды в одну и ту же ситуацию, он вовсе не обязан поступать одинаково. Кроме того – и это, наверное, самое важное, – Черный ящик есть машина, которая учится на собственных ошибках в процессе предпринимаемых ею конкретных действий. Из самых основ кибернетики следует, что Властелин Экономики – Черный ящик, который был бы заранее всеведущ и умел бы предвидеть все последствия принимаемых им решений, построен быть не может. Лишь с течением времени регулятор будет приближаться к этому идеалу. Как быстро – этого мы определить не умеем. Быть может, он сначала подвергнет государство целой серии ужасных кризисов, из которых постепенно его выведет. Быть может, он заявит, что между аксиомами, введенными в Программу действия, существует противоречие (например, невозможно проводить экономически рентабельную автоматизацию производственных процессов и одновременно стремиться к уменьшению безработицы, если параллельно не будет проводиться множество иных мероприятий, вроде субсидируемого государством или капиталом переобучения лиц, потерявших работу, и т. п.)^[103]. Что тогда? Трудно вдаваться в детальный анализ столь сложной проблемы. Можно только сказать: Черный ящик, будь то регулятор производства в одном из его звеньев или же универсальный регулятор в масштабах всего государства, всегда действует при неполном знании. Иначе и быть не может. Допустим, что, проделав много проб и совершив много ошибок, сделав при этом несчастными миллионы людей, Черный ящик – Властелин Экономики – приобретет огромные знания, неизмеримо большие, чем знания всех буржуазных экономистов, вместе взятых. Но даже и тогда никто не может поручиться, что очередную порожденную новыми причинами флуктуацию он не попытается ликвидировать такими методами, от которых у всех, не исключая и его создателей, зашевелятся волосы. Рассмотрим такую возможность на конкретном примере.

Предположим, что прогнозирующий блок («подсистема») «черного ящика» замечает опасность, грозящую состоянию гомеостатического равновесия, благополучно достигнутому наконец после многих качаний. Опасность возникает из-за того, что прирост населения превышает имеющуюся в данный момент у цивилизации возможность удовлетворять человеческие потребности. Именно, пусть при нынешнем приросте начиная с будущего года или же по прошествии тридцати лет уровень жизни станет неуклонно понижаться. Пусть одновременно по одному из «входов» в «черный ящик» поступила информация об открытии некоего химического соединения, которое вполне безвредно для здоровья и вызывает такое падение возможности овуляции, что при постоянном употреблении этого средства женщина может зачать лишь в считаные дни (а не так, как сейчас: в какой-либо из ста с лишним дней в году). Тогда «черный ящик» принимает решение ввести необходимые микроскопические дозы этого соединения в питьевую воду во всех водопроводных сетях государства. Разумеется, для успеха операции ее нужно держать в тайне; в противном случае прирост населения снова проявит тенденцию к увеличению, так как многие люди наверняка будут стараться пить воду без этого средства, например воду из рек или из колодцев. Следовательно, «черный ящик» станет перед дилеммой: либо информировать общество – и наткнуться на его противодействие, либо не информировать – и тем самым сохранить (для всеобщего блага) состояние существующего равновесия. Допустим, что для охраны общества от стремления «черного ящика» к подобным формам «криптократии» программой «ящика» предусмотрена обязательная публикация всех намеченных изменений. Кроме того, у «ящика» есть специальный «стоп-кран», который пускается в ход всякий раз, как только возникает ситуация вроде вышеописанной. Благодаря всему этому регулятор, принимающий решения (и состоящий из людей), отменит план, выработанный «ящиком». Трудность, однако, в том, что столь простые ситуации будут довольно редки, а в огромном большинстве случаев «орган, принимающий решения», не будет знать, не пора ли как раз дернуть за «стоп-кран». Впрочем, от слишком частого применения этого тормоза вся регулирующая деятельность «ящика» стала бы иллюзорной, а общество поверглось бы в совершенный хаос. Не говоря уже о том, что в высшей степени неясно, чьи, собственно, интересы представлял бы этот «орган». Например, в нынешних Соединенных Штатах Америки подобный «орган» наверняка заблокировал бы введение бесплатной медицинской помощи и системы пенсий (как это в действительности и сделал Конгресс, тогда как роль предложившего такие изменения, но остановленного при помощи «стоп-крана» «ящика» сыграл президент Дж. Кеннеди). Чьи бы интересы ни представлял этот орган, не следует недооценивать способностей «черного ящика». Один, другой, третий раз «заторможенный» в своих начинаниях, он, вероятно, выработает новую стратегию. Он будет, например, добиваться, чтобы люди как можно позже вступали в брак, а малое количество детей было особенно выгодно экономически. А если и это не даст желательных результатов, он постарается уменьшить прирост населения еще более окольным путем. Допустим, что некое лекарство предотвращает кариес зубов. Пусть употребление этого лекарства в определенном проценте случаев вызывает мутацию генов, и пусть новый мутировавший ген сам по себе еще не уменьшает плодовитости, а делает это лишь при встрече с другим, также мутировавшим геном; последний возник благодаря применению другого лекарства, употребляемого довольно давно. Это второе лекарство избавило, скажем, мужскую половину рода человеческого от терзаний, связанных с преждевременным облысением. Тогда «черный ящик» будет всячески распространять лекарство против кариеса, и в результате он добьется своего: по прошествии некоторого срока количество обоих (рецессивных) мутировавших генов в популяции возрастет и они будут соединяться довольно часто, а это уменьшит прирост населения. Почему же, спросите вы, «черный ящик» не информировал вовремя широкие круги об этом своем начинании; ведь мы же сказали, что, согласно введенным в него правилам действия, он обязан информировать обо всех изменениях, которые намерен провести?

Он не станет информировать общество вовсе не из «хитрого» или «демонического» расчета, а попросту потому, что он сам не будет знать, что, собственно, делает. «Черный ящик» – отнюдь не «электронный сатана», не всеведущее существо, кое рассуждает как человек или сверхчеловек, а всего лишь устройство, которое непрерывно ищет связи, статистические корреляции между отдельными общественными явлениями, исчисляемыми миллионами и тысячами миллионов. Как регулятор, он оптимизирует экономические отношения, поэтому состояние высокого жизненного уровня населения является и состоянием его собственного равновесия. Прирост населения угрожает этому равновесию. В какой-то момент «ящик» обнаружит положительную корреляцию между падением прироста населения и применением лекарства от кариеса. «Ящик» информирует об этом «совет», там проведут исследования и установят, что данное лекарство не уменьшает плодовитости (ученые «совета» будут экспериментировать на животных, а те ведь не употребляют средств против облысения). «Черный ящик» ничего от людей не скрывал, ибо и сам он ничего не знал о генах, мутациях и причинной связи между введением двух лекарств и падением рождаемости. Он всего лишь обнаружил искомую корреляцию и стремится ее использовать. Даже и этот пример грешит упрощенностью, хотя и не является неправдоподобным (как свидетельствует скандал с талидомидом). В действительности «черный ящик» будет идти еще более окольными путями, шаг за шагом, «не ведая, что творит», поскольку он стремится к состоянию ультрастабильного равновесия, а открываемые им и используемые для поддержания этого равновесия корреляции явлений отражают очень сложные процессы, которых он не изучает и о причинах которых ничего не знает (то есть не обязан ничего знать). В конце концов лет через сто может оказаться, что ценой, которую пришлось заплатить за рост жизненного уровня и уменьшение безработицы, служит хвостик, вырастающий у каждого шестого ребенка, или общее падение показателя интеллекта в обществе (ведь более умные люди в большей мере мешают регулирующему действию машины, и она будет стремиться уменьшить их число). По моему мнению, совершенно ясно, что «аксиоматикам» машины не в состоянии учесть заранее всех возможностей; от «хвостика» до всеобщего кретинизма. Тем самым мы совершили reductio ad absurdum – привели к нелепости теорию Черного ящика как Верховного регулятора человеческого общества.