Теймур Мамедов
Малое Солнце
Глава 17. Законы робототехники
– Сьюзен! Сколько раз говорил: в помещениях дренажный клапан должен быть закрыт! Ты опять витала где-то в облаках, пока я читал инструктаж.
Джейдер наклонился вперед, чтобы закрутить клапан на кирасе ее скафандра.
– Упс… Простите… – виновато прошептала Сьюзен с видом школьницы, которую отчитывают за невыученные уроки.
– Вот так. Позволь прояснить. Жидкий водород и кислород, которые питают твой скафандр и которым ты дышишь, постоянно выпариваются из баков, и, если клапан открыт, все излишки выбрасываются наружу. Мы уже несколько часов сидим в шлюзовом отсеке, и все это время водород выпаривался и смешивался с кислородом в атмосфере шлюза. Случись одна маленькая искорка – бум! – нет больше шлюза и нас вместе с ним, – Джейдер обвел окружение широким движением руки.
Шлюз был большой и мог вместить ровер, даже несмотря на то что он был заставлен всевозможным техническим хламом. Было видно, что люди не часто им пользовались.
– Прости мою невнимательность, Джейдер. Я почти никогда не выходила в открытый космос, даже так недалеко от колонии, поэтому я немного волнуюсь, – произнесла Сьюзен.
Как кибернетик она всегда была серой лабораторной мышкой и редко покидала лабораторию. Ее выходы в космос можно было пересчитать по пальцам, а тут как гром среди ясного неба – ей надо идти на полигон по поверхности в тяжелом скафандре.
– Слушай, ты ведь здесь, на Каллисто, а значит, проходила хотя бы базовую подготовку и знаешь, что это не так страшно.
– Да, проходила. Нас даже отправили на пару недель в учебный центр на Луне. Однажды я решилась на полет до Юпитера, но то был большой корабль, а здесь открытый космос, и… – Сьюзен запнулась. – И я никогда не была одна.
– Ты и сейчас не будешь одна. Ведь для того я и здесь, чтобы сопровождать тебя до полигона и обратно. Не переживай, это не так страшно, как ты думаешь. К этому привыкаешь, – сказал Джейдер, поправляя лямки на скафандре Сьюзен.
Хрупкая фигура девушки была совершенно не различимой под громоздким пневматическим скафандром.
– А ты когда-нибудь оставался там один? – спросила она.
– Я? Нет. Талард однажды по пьяни уснул в кратере на несколько часов, пока его не хватились. Этот дурак чуть не отморозил себе почки. Поражаюсь, как его не понизили после этого, умеет ведь выкручиваться.
– Эх, вы, космонавты, образец смелости и морали. А ведь вы считаетесь лучшими из лучших.
– Возможно, на заре космонавтики так оно и было, – ухмыльнулся Джейдер, – но люди быстро ко всему привыкают, а рутина убивает любое чувство новизны. Когда ты выходишь в открытый космос каждый день… я думаю, ты понимаешь, к чему это приводит. Это становится для тебя таким же естественным процессом, что и поход в столовый блок.
Проверив свои параметры, он вывел показатели скафандра Сьюзен на свой визор.
– Проверка интеркома. Давление и герметичность в норме, связь в норме, терморегуляция и атмосфера в норме. Уровень азота в крови снижается, уже в пределах допуска. Думаю, мы можем начинать выравнивать давление.
Джейдер подошел к пульту управления, голограмма искрой вспыхнула перед ним. Несколько нажатий на индикаторы – замигал аварийный сигнал и зазвучала предупредительная сирена. Ее звук становился все тише и тише. Скафандр начал раздуваться, словно внутрь закачивали воздух. Постепенно звуки сирены угасли, остались только звуки внутри скафандра.
– Сьюзен, слышишь меня?
– Джейдер?
– Да?
– Джейдер!
– Что!?
– У меня что-то шумит! Я слышу какое-то шипение! – воскликнула Сьюзен, чуть не срываясь в крик.
– Где? Черт. Да все в порядке, это газовый насос шумит. У тебя пульс 140, не паникуй, сделай глубокий вдох и успокойся.
Джейдер снова наклонился к пульту. Тяжелые створки гермоворот плавно разъехались в стороны, освобождая путь наружу.
– Ну что, ты готова?
– Нет, – прошептала Сьюзен, вжавшись в свой скафандр.
– Отлично! Ну, тогда пошли!
Они вышли в открытый космос. Тишина. Лишь только глухой звук шагов доносился до слуха, перемешиваясь с мерным шипением систем жизнеобеспечения.
– Ты точно ничего не ела сегодня? А то может стошнить от волнения, – пошутил Джейдер, но его шутка не дошла до адресата. Сьюзен молчала, отдав все внимание борьбе со страхом.
Джейдер посмотрел вперед. Огромная гора возвышалась прямо перед ними.
– Это Пик Добровольского, мертвый криовулкан чуть ниже трех тысяч метров, – произнес он, пытаясь отвлечь ее внимание. – Без атмосферы трудно на глаз различать расстояния, но похоже, что он совсем недалеко.
Джейдер и раньше наблюдал этот криовулкан с орбиты, но никогда не видел его так близко. Здесь, у его подножья, можно было разглядеть даже самые мелкие детали. Слабое далекое солнце освещало длинные пологие склоны, которые резко обрывались сложными гребнями и уступами. Если у него когда-нибудь случится отпуск, то он с удовольствием взойдет на эту гору и отдаст дань памяти своим былым земным хобби.
Джейдер сверился с картой.
– До испытательного полигона два километра. Идем, Сьюзен, а то не успеем вернуться до конца смены.
– Какой же этот скафандр тяжелый. И как только вы передвигаетесь в этой неповоротливой махине, – произнесла Сьюзен, делая робкие прыжки.
Ее пульс был по-прежнему высоким.
– Такие уж у нас скафандры. Легкость была принесена в жертву автономности. Надо было подыскать тебе что-нибудь полегче. Уилсон! Включи ей сервоприводы, мощность на пятьдесят процентов.
– Выполнено.
– Ух! Так вроде бы получше. Спасибо, Джейдер! – Сьюзен сделала неуклюжий прыжок вперед.
– Только осторожнее рассчитывай силы. В скафандре легко разогнаться, но тяжело затормозить! Помни, он весит больше центнера… – Джейдер не успел договорить.
Было уже поздно. В попытках затормозить она выставила вперед обе ноги, но скорость была слишком велика, и инерция увлекла ее за собой. Ноги предательски потеряли опору, и она кубарем повалилась на живот, подняв облако ледяной пыли. Радиоэфир заполнил девичий крик.
– Джейдер! Я боюсь встать. Мне кажется, я что-то повредила в скафандре!
– Да все в порядке, – терпеливо произнес он, помогая ей подняться. – Все показатели в норме, но лучше так не прыгай. Уилсон! Убавь-ка ей мощность до двадцати пяти процентов от греха подальше.
– Спасибо, Джейдер. Мне так стыдно. Но я постараюсь больше не падать.
«Надеюсь, на полигоне есть свободный ровер», – подумал про себя Джейдер.
– Если повезет, то хотя бы обратно пойдем не пешком. Ну, а теперь пошли!
Они молча продолжили путь под открытым звездным небом. Он посмотрел на нее еще раз. Сьюзен молча двигалась впереди, делая короткие неуклюжие прыжки. Повышенный расход кислорода и высокий пульс свидетельствовали о том, что она все еще волновалась.
«Нужно ее успокоить, пока от волнения она не сотворила еще какую-нибудь глупость», – подумал про себя Джейдер.
Он напряг весь свой ум в попытках завязать разговор, но в голове было пусто, как за бортом скафандра. Общих тем со Сьюзен у него было немного.
– Да уж… – начал Джейдер, пытаясь завязать разговор.
– Что?
– Далековато мы с тобой забрались. Поездка с тремя пересадками, потом скафандр, десатурация. Убили на это не меньше шести часов.
– Ты расстроен, что пришлось идти со мной?
– Да нет, что ты. Просто удивляюсь, почему этот полигон так далеко. Неужели нельзя проводить исследования где-нибудь в колонии или хотя бы в пределах транспортной сети?
– Ты же знаешь, машины фон Неймана задуманы существовать и развиваться в глубоком космосе. Наличие людей поблизости как-то не очень вписывается в картину.
Голос Сьюзен немного оживился. Было видно, что про робототехнику она может разговаривать всегда и везде.
– Да-да, в колонии нет человека, который об этом не слышал, но едва ли кто знает причину, кроме вас, специалистов, конечно.
– Как бы тебе объяснить… – замешкалась Сьюзен. – Мы запускаем обучающиеся ИИ в песочницах, как этот полигон. Ставим их в разные условия и наблюдаем, что с ними происходит, какие навыки они нарабатывают и как меняется их характер. При этом есть одна загвоздка: любая мелочь, например, проходящий мимо пьяный Талард, может встрять в обучающую последовательность и в корне исказить выводы искусственного интеллекта.
От услышанного Джейдер едва сдержал смех.
– Ну а что? – смутилась Сьюзен. – Результаты эксперимента при этом будут безнадежно испорчены, и мы даже не узнаем об этом!
– Если машины начнут ругаться матом и шлепать проходящих мимо девиц, то это точно Талард, – подтвердил Джейдер, подняв большой палец вверх.
– Ну… – пожала плечами Сьюзен. – Такие роботы нам как раз не нужны. Вы и сами отлично справляетесь с этой работой.
– Тут я с тобой согласен, – произнес Джейдер, украдкой посмотрев на гистограмму ее пульса. – Без обид, я знаю, что ты фанатка своего дела, но я вообще думаю, что весь этот проект, вся эта вавилонская башня – попросту не нужна. Справлялись ведь как-то сами со всеми этими трудностями, без всяких роботов.
Сьюзен на мгновение остановилась.
– Ты же сейчас несерьезно, Джейдер? Время не стоит на месте. Ты только представь полностью самовоспроизводящиеся машины под контролем сверхразумного коллективного интеллекта. Неужели ты не представляешь, какие возможности это откроет для всего человечества?
– Боюсь, ничем хорошим для человечества это не закончится, – покачал головой Джейдер. – Посмотри на Землю. Уверен, что, когда светлые головы продвигали революцию искусственного интеллекта, они думали, что это решит все проблемы на планете. А в итоге богатые стали еще богаче, а миллиарды людей потеряли работу. Помяни мое слово, как только вы его завершите, парни вроде меня станут не нужны.
– Но ведь тогда все было по-другому! – возразила Сьюзен. – Космос – это не Земля, это другое. Джейдер, ну не мне же тебе говорить о том, как опасен космос? Здесь все хочет убить нас. Маленькая дырочка в скафандре – это смерть, – она невольно поежилась.
– Мы вынуждены прятаться в пещерах, как мышки! А радиация? А негативное воздействие слабой гравитации? Как бы мы не ухищрялись, как бы мы не модифицировали свои тела, мы вряд ли когда-либо приспособимся к таким условиям, – произнесла она, разведя руками. – Но совсем другое дело – машины. Они лишены наших недостатков. Джейдер, если на Земле машины вступали в конкуренцию с людьми, то здесь они будут верными помощниками и сделают космос безопаснее и пригоднее для нас.
– Я же говорю, – ответил Джейдер, замедляя прыжки, – как и все ученые, ты все время рассуждаешь о благе для какого-то абстрактного человечества. Ты мыслишь слишком глобально. Остановись на минутку и посмотри вокруг.
Он провел рукой, жестом повторив предложение оценить окружающий пейзаж. Они стояли посреди ледяного плато, простирающегося до самого подножья криовулкана.
– Кажется, что мы здесь единственные живые существа. Одни на всей планете, не так ли?
– От этого вида на душе становится одиноко, но, не отрицаю, это впечатляет, – тихо ответила Сьюзен.
Джейдера устроил ответ, и он продолжил:
– Если у вас получится и вы завершите этот проект фон Неймана, весь этот мир изменится до неузнаваемости. Сначала машины расплодятся до несметных полчищ и заселят каждый чертов камень в Солнечной системе. Потом они отстроят огромные города для нас. Видишь это плато? На его месте будет огромная магистраль с бесконечными развязками и эстакадами. Видишь вулкан? Его снесут, а на этом месте отгрохают гигантский торговый центр с проклятым кинотеатром и фитнес-центром. А потом будут люди. Неисчислимые толпы людей без работы, потому что нет такой работы, которую они выполнили бы лучше, чем машины. Возможно, ты права, и роботы действительно сделают космос безопаснее и лучше для человечества. Но они определенно сделают его хуже лично для меня и каждого из нас. Здесь я кто-то. Я инженер, от которого зависят жизни людей, а там, на Земле, я был никем. Просто человечишка из толпы.
Сьюзен повернулась и посмотрела на Джейдера. Он увидел ее взгляд сквозь блики светофильтра, отражающего тусклый свет далекого Солнца.
– Дурак ты, Джейдер. Дурак и эгоист в придачу, – произнесла она и, повернувшись спиной, продолжила путь. Она шла так, будто знала, куда идти, и больше не нуждалась в его сопровождении.
«Ну, по крайней мере от прежнего волнения не осталось и следа», – подумал про себя Джейдер, потирая забрало шлема.
– Постой, подожди меня. Или тебе больше не нужен сопровождающий?
Сьюзен шла впереди и совершенно не торопилась с ответом.
– Ставить свое счастье выше счастья для всех… – наконец произнесла она, с плохо скрываемой обидой в голосе. – Это так эгоистично.
– Ну, такова наша природа, – пожал плечами Джейдер. – Все мы, люди, эгоисты, начиная с рождения. Вся жизнь построена на этом принципе.
– Хорошо, что роботы лишены всех этих людских пороков, – неожиданно перебила его Сьюзен. – В этом плане они намного лучше нас.
– Кто, роботы?! Ну конечно, – усмехнулся Джейдер. – Они лишены всего человеческого, как и любая бездушная болванка.
– Думаешь? – рассмеялась Сьюзен. – Да любой робот даст тебе фору в решении любых моральных проблем! Еще непонятно, кто из вас окажется более человечным.
– Зачем роботам решать моральные проблемы? – смутился Джейдер.
«Вот уж докатились. Теперь роботы для нее более человечны, чем я», – подумал он про себя.
– Эти роботы и живого человека за всю свою жизнь не увидят. Будут себе работать где-нибудь в шахтах за поясом Койпера. Не самое подходящее место для проявления человеческих качеств.
Сьюзен улыбнулась. Как и от любой женщины, от нее сложно было скрыть истинные эмоции даже за забралом скафандра.
– А ты бы выпустил на свободу мощный искусственный интеллект, будучи неуверенным, что он имеет твердое представления о морали и добре?
– Я бы его вообще не выпустил, – отрезал Джейдер. – В крайнем случае приделал бы к нему красную кнопку, способную отключить его напрочь.
– Ну, никто не хочет выпускать джина из бутылки без уверенности, что этот джинн добрый, – согласилась Сьюзен. – Ведь загнать его обратно будет очень трудно. Да, есть фундаментальные законы робототехники, по которым машины обязаны не причинять вреда человеку и слушать его приказы. Но этого недостаточно. Любой достаточно продвинутый искусственный интеллект способен обойти их. Поэтому мы обучаем его и проверяем его убеждения на прочность. Могу похвастаться, что сейчас машины решают такие моральные дилеммы, которые не под силу многим людям.
– Прекрасно. Почему бы им не заменить нас полностью, чего уж мелочиться, – недовольно пробурчал Джейдер.
– Кто знает. Может, когда-нибудь придет время, когда это не будет считаться чем-то плохим. Джейдер, а давай и тебя проверим. Попробуй решить простейшую моральную задачу для робота, мне интересно, как ты поступишь.
– Мне кажется, для тебя уже не существует разницы, робот перед тобой или человек, – покачал головой Джейдер. – Давай уж, попробую отстоять честь человечества.
– Хорошо, представь автоматический танкер, который доставляет кислород на небольшую научную станцию А с населением двадцать человек, – продолжила Сьюзен с нескрываемым азартом в голосе. – Станция А находится далеко, и наш танкер единственный, что регулярно поставляет кислород на станцию. Вдруг на большой жилой станции Б населением в тысячу человек произошла авария, повлекшая за собой отказ системы жизнеобеспечения. Наш танкер может изменить свой курс, чтобы помочь жилой станции Б и спасти жителей, но при этом ученые станции А умрут, не получив кислород вовремя. Перед машиной встает выбор: спасти тысячу жителей жилой станции, убив при этом двадцать ученых, либо продолжить намеченный курс и своим бездействием позволить погибнуть тысяче. Как бы поступил ты на месте машины?
– Я бы выбрал двадцать ученых, – немного подумав, ответил Джейдер.
– Да? – удивленно протянула Сьюзен. – И почему же?
– Жизни ученых зависят от меня, и поставлять кислород – моя профессиональная ответственность. Если на жилой станции Б случится авария, а я не откликнусь на зов помощи и пролечу мимо, жители станции погибнут из-за меня? Нет, они погибнут из-за аварии, а я не понесу ответственности за их гибель. Но если я откликнусь на зов помощи и направлю танкер к жилой станции Б, чтобы спасти жителей, – я возьму ответственность за смерть двадцати человек, и это будет осознанным массовым убийством. Думаешь, родные погибших отнеслись бы с пониманием к такому благородству? Да меня с кишками съели бы и не подавились. Когда случаются подобные ситуации, где нужно быстро принимать решения, люди действуют эмоционально и уж точно не вдаются в философию, – подытожил Джейдер.
– Разве это не значит, что лучше передать принятие подобных решений машинам? У них нет ни эмоций, ни врожденных инстинктов, и, в отличие от людей, они способны четко следовать этике, – Сьюзен сделала небольшую паузу, словно о чем-то задумалась. – Уилсон!
– Да, мисс?
– Ты слышал задачу. Как бы поступил ты? – Спросила она у скафандра Джейдера.
– Прошу прощения, мисс, но я не способен принимать решения, влекущие за собой гибель людей, – это находится далеко за рамками дозволенных мне функций.
– Предположим, что тебя не ограничивают классические законы робототехники, как бы ты поступил тогда? – В ответ последовало лишь затяжное молчание.
– Я жду ответ! – повелительным тоном сказала Сьюзен.
– Мне нужно подумать, мисс, – донеслось от скафандра. Сьюзен общалась с ним уверенно и строго. Было видно, что она знает, как добиться желаемого от искусственного интеллекта. Джейдер с интересом наблюдал за происходящим. Ему никогда и в голову не приходило общаться с Уилсоном.
– Мисс… – грубый бас скафандра прервал тишину
– Я слушаю, Уилсон!
– Исходя из заложенных в меня параметров, моей главной целью, имеющей первостепенное значение, является поддержание жизни носителя скафандра. Отталкиваясь от основной задачи, определим, что носитель скафандра является человеком, следовательно сохранение большего числа жизней людей можно интерпретировать как косвенное выполнение основной задачи. Спасение тысячи людей ценой двадцати недопустимо, но логически больше соответствует моей основной цели.
– Неплохо. Очень неплохо, – удовлетворенно произнесла Сьюзен. – Кто тебя написал, Уилсон?
– Разработчик поведенческого модуля, Зак Саливер, мисс.
– Нужно отдать ему должное, он лучший в своем деле. Вот видишь, Джейдер, в твой скафандр даже не закладывали моральные установки, но путем логических размышлений он только что самостоятельно выбрал наиболее верное и гуманное решение!
Сьюзен улыбнулась и ускорила свои прыжки, отрываясь вперед.
– М-да, – протянул Джейдер, испытывая чувство уязвленной гордости. – Интересно, хоть в чем-то люди могут быть лучше роботов в твоем представлении?
– Ты знаешь, Джейдер, – грустным голосом ответила ему Сьюзен, – на самом деле все не так просто.
– Что ты имеешь в виду? – удивленно переспросил ее Джейдер.
Они шли в тишине ночного неба, приближаясь к огромной тени у подножья криовулкана.
– Я сомневаюсь, Джейдер. Я сомневаюсь, что у нас все получится. Как мы, люди, можем чему-то научить этих роботов, если мы сами ничего толком не знаем? Посмотри на меня. Я боюсь сделать лишний шаг прочь от колонии. Я боюсь открытого космоса, но учу не бояться его роботов. Разве я могу быть хорошим учителем? Мы слишком мало знаем об этом мире, чтобы учить кого-то.
– Но разве это плохо? – поспешил поддержать ее Джейдер. – Пусть машины сами изучают этот мир. Наверное, ты права, за ними будущее. Да и тысяча человек важнее, чем двадцать, даже если эти люди лично знакомы тебе.
Джейдер на мгновение запнулся.
– Я лишь только хочу сказать, что ты даешь старт этим машинам. Ты не можешь знать все, но ты учишь их изучать этот мир самостоятельно, и это самое главное. И я думаю, ты хорошо справляешься со своей задачей.
– Спасибо, Джейдер, – робко произнесла Сьюзен после непродолжительного молчания.
Они продолжили свой путь в тишине, пересекая обширное заснеженное плато. Под ногами бугрились следы от ровера, уходя по пологому подъему вдаль, к рядам невзрачных строений. Над головой раскинулись миллионы звезд, усеивая небосвод россыпью ярких алмазов. Джейдер бросил взгляд на показатели сердечного ритма Сьюзен.
«Похоже, она сама не заметила, как успокоилась», – успел подумать он, прежде чем Сьюзен нарушила тишину.
– Как же красиво! – произнесла она, любуясь глубиной звездного неба. – А посмотри, сколько звезд. Как же их много! Я не могу найти ни одного созвездия в этом множестве.
– Да, я тоже люблю смотреть на них, – согласился Джейдер.
– Я завидую тебе, Джейдер. Я всю жизнь мечтала о космосе, но всегда была трусихой. И, даже прилетев сюда, на Юпитер, я все время прячусь в лаборатории и не вижу этой красоты. Скажи, к этим звездам тоже привыкаешь?
– Знаешь, любая работа остается работой, – произнес Джейдер, теряясь в поисках ответа, – но звезды я вижу каждый день и до сих пор не могу привыкнуть. И я очень боюсь, что это когда-нибудь произойдет.
– Даже больше того, что нас заменят роботы, – отшутился он, заставив Сьюзен улыбнуться. – Я думаю, что если даже звезды перестанут манить нас, то нам уже ничего не поможет.
– Дурак ты, Джейдер! – рассмеялась Сьюзен, толкнув его в плечо. – Вечно ты умудряешься все испортить. Пойдем, мы уже почти пришли.