Роботы, с которыми я был знаком

 

Механические люди, или роботы, если использовать универсально принятый термин, придуманный Чапеком, являются темой, к которой снова и снова возвращаются современные фантасты. Не существует другого неизобретенного изобретения (возможно, за исключением космического корабля), столь же надежно поселившегося в сознании такого огромного количества людей: пугающая конструкция, огромная, металлическая, слегка напоминающая человека, двигающаяся как машина и разговаривающая лишенным эмоций голосом.

Ключевым в данном описании является слово «пугающий», и в нем заключено трагическое начало, поскольку ни одна научно‑фантастическая тема не лишилась настолько своей привлекательности, как тема роботов. Среднему писателю оказался доступен только один сюжет, связанный с роботами: механический человек становится угрозой, выступает против своего создателя, представляет собой опасность для человечества. Почти все рассказы подобного рода имели одинаковую мораль, намеренно или нет: «Есть вещи, которые человечеству не следует знать».

Начиная с 1940 года ситуация заметно улучшилась. На книжных полках появилось множество рассказов о роботах; родилась новая точка зрения, более механистичная и менее морализованная. Некоторые люди (например, Грофф Конклин в своем вступлении к антологии научной фантастики «Фантастические разумные машины», опубликованной в 1954 году) посчитали возможным объявить, что, по крайней мере отчасти, новый вид рассказов о роботах появился благодаря моим произведениям, написанным начиная с 1940 года. Поскольку на Земле скорее всего не найдется человека, меньше меня страдающего от ложной скромности, я с удовольствием и без возражений принимаю это мнение. Хочу лишь добавить еще одно имя – Джон У. Кэмпбелл‑младший, редактор «Эстаундинг сайенс фикшн», с которым мы провели много часов в чрезвычайно полезных и плодотворных дискуссиях на тему рассказов о роботах.

Лично я считаю, что роботы – это не проклятая богом, святотатственная имитация жизни, а всего лишь высокоразвитые машины. Машина не может «выступить против своего создателя», если она правильно сконструирована. Когда механизм, например электропила, случайно отгрызает своему владельцу конечность, его достойная сожаления склонность к агрессии устраняется при помощи установки специальных защитных устройств. Подобные защитные устройства, очевидно, могут быть созданы и в роботах. А самым логичным местом для размещения таких устройств являются электрические цепи «мозга» робота.

Позвольте мне сделать паузу и объяснить вам, что мы, писатели, работающие в жанре научной фантастики, не вступаем друг с другом в яростные споры по поводу строения «мозга» роботов. Имеется некое механическое устройство, которое приблизительно похоже на человеческий мозг и содержит цепи, необходимые для того, чтобы робот обладал уровнем восприятия и разумного реагирования, эквивалентным человеческому существу. Как это сделать без использования механических приспособлений размером с молекулу протеина или по крайней мере с клетку мозга, не объясняется. Кое‑кто из писателей рассуждает о транзисторах и печатных схемах. Большинство предпочитает хранить молчание. Лично я обожаю делать слегка мистические заявления о «позитронном мозге», предоставляя читателю возможность самому решать, какое отношение позитроны имеют к предмету обсуждения, и рассчитываю на то, что он не отложит книгу в сторону, даже если не сможет найти ответ на этот вопрос.

Так или иначе, по мере написания рассказов о роботах идея об устройствах, обеспечивающих безопасность людей, превратилась в Три закона роботехники. Эти три закона впервые были подробно описаны в рассказе «Хоровод». В уточненном и исправленном виде они выглядят следующим образом:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.

 

Эти законы вносятся в мозг роботов или, точнее, в электрические цепи, заменяющие им мозг. Естественно, я не собираюсь данные цепи описывать. Правду говоря, я никогда не обсуждаю инженерные проблемы по очень простой причине: я абсолютно невежествен относительно практических аспектов создания роботов.

Первый закон, как вы видите, мгновенно покончил со старым, всем надоевшим сюжетом, о котором я торжественно обещаю больше вам не напоминать.

Хотя на первый взгляд кажется, что такие строгие ограничения могут повлиять на творческие способности, выяснилось, что Законы роботехники послужили богатым источником для научно‑фантастических произведений. И уж ни в коей мере не загнали писателей‑фантастов в тупик ограниченности.

Примером может послужить рассказ «Хоровод», о котором я уже говорил. В этой истории робот, дорогая экспериментальная модель, создан специально для работы на солнечной стороне планеты Меркурий. Третий закон был внедрен в его сознание надежнее остальных по вполне понятным экономическим причинам. В самом начале рассказа он отправляется в экспедицию с целью добыть жидкий селен для очень важных и абсолютно необходимых ремонтных работ. (Можете мне поверить: на солнечной стороне Меркурия, где самое настоящее пекло, жидкого селена сколько хочешь.)

К несчастью, приказ, который получил робот, был сформулирован не слишком четко, а цепи, отвечающие за Второй закон, оказались слабее, чем обычно. Что еще хуже, селеновая лужа, к которой отправили робота, находилась рядом с районом вулканической активности. В результате там возникла высокая концентрация углекислого газа. Я пришел к выводу, что при высоких температурах на солнечной стороне Меркурия углекислый газ быстро вступит в реакцию с железом и образуется летучий карбонил железа, отчего пострадают наиболее хрупкие детали сочленений у робота. Чем дальше он проникает на опасную территорию, тем большей угрозе подвергает себя, а следовательно, вступает в силу Третий закон, заставляющий его остановиться. Второй закон, который при обычных обстоятельствах перевешивает Третий, толкает его вперед. В определенной точке возникает ситуация, когда более слабый в данной конкретной ситуации Второй закон и более сильный Третий достигают равновесия и робот не может ни двигаться дальше, ни отступить. И потому он ходит в районе селеновой лужи по эквипотенциальной траектории, отдаленно напоминающей круг.

Тем временем наши герои отчаянно нуждаются в селене. Они надевают специальные скафандры, находят робота, видят, какая сложилась ситуация, и пытаются понять, что же им делать дальше. После нескольких неудач они находят ответ на свой вопрос. Один из людей совершенно сознательно подвергает себя опасности: если робот его не спасет, он обязательно погибнет. За дело принимается Первый закон, который заставляет робота покинуть свою бессмысленную орбиту, поскольку этот закон важнее двух других. И все заканчивается благополучно.

Кстати, именно в рассказе «Хоровод» я впервые употребил термин «роботехника» (наука конструирования, создания роботов и управления ими). Много лет спустя мне сказали, что я изобрел новый термин и что до меня он никогда не появлялся в печати. Не знаю, правда ли это. Если да, то я счастлив, поскольку считаю данное слово логичным и полезным и потому с удовольствием дарю его всем, кто работает в интересующей нас области.

Ни один из других моих рассказов не имеет такого прямого и непосредственного отношения к Трем законам, как «Хоровод», но все они так или иначе с ними связаны. Например, один из рассказов посвящен роботу, который умел читать мысли и был вынужден лгать, поскольку не мог сказать человеку того, что тот не хотел слышать. Видите ли, правда неминуемо причинила бы ему «вред» – в виде огорчения, разочарования, горя, смущения, потери иллюзий и прочих эмоций подобного рода.

Вот еще одна история: загадка человека, которого подозревали в том, что он робот, иными словами, что у него квазипротоплазменное тело и «позитронный мозг» робота. Доказать, что он человек, он мог только одним способом – публично нарушить Первый закон. Он не стал отказываться и при свидетелях ударил человека. Однако рассказ заканчивается сомнением, поскольку существует подозрение, что другой «человек» тоже мог быть роботом, а в Трех законах ничего не говорится о том, что один робот не может причинить вред другому.

А еще у нас имеются идеальные роботы – модели такие продвинутые, что они используются для предсказания погоды, размеров урожая, выпуска промышленной продукции, поворотов в политической жизни и тому подобное. Они нужны для того, чтобы мировая экономика была меньше подвержена воздействию факторов, на которые человек влиять не в состоянии. Но эти поразительные роботы тоже подчиняются Первому закону. Они не могут допустить, чтобы человек страдал в результате их бездеятельности, поэтому совершенно сознательно дают ответы, которые не обязательно являются правдивыми и порой вызывают локальные экономические кризисы, спланированные для того, чтобы заставить человечество выйти на дорогу, ведущую к миру и процветанию. В конце концов роботы начинают играть решающую роль, но люди от этого только выигрывают.

Не следует недооценивать взаимоотношения человека и робота. На уровне сознания люди могут знать о существовании Трех законов, однако это не мешает им испытывать иррациональный страх и не доверять роботам на эмоциональном уровне. Если бы вы хотели придумать соответствующий термин, это можно было бы назвать «комплексом Франкенштейна». Кроме того, существует и еще одна проблема – протесты профсоюзов, которые боятся, что роботы заменят людей и те лишатся средств к существованию.

Вот вам еще одна тема для рассказов. Мой первый рассказ о роботах был посвящен роботу‑няне и ребенку. Как и следовало ожидать, ребенок обожал своего робота, однако мать боялась его, что тоже вполне объяснимо. Конфликт заключался в том, что мать пыталась избавиться от робота, а ребенок всячески противостоял ее попыткам.

Мой первый длинный роман, посвященный роботам, – «Стальные пещеры» (1954) – заглядывает в далекое будущее. Действие происходит во времена, когда на других планетах, населенных эмигрантами с Земли, развивается роботизированная экономика, но сама Земля по экономическим и эмоциональным причинам протестует против засилья металлических существ. Совершено убийство, мотивом которого является ненависть к роботам. Оно разгадано парой детективов – человеком и роботом с использованием дедуктивного метода (являющегося главным во всех детективных историях) и Трех законов.

Мне удалось убедить себя, что Три закона необходимы и достаточны для безопасности человека, когда речь идет о роботах. Я искренне верю, что наступит день, когда будут созданы сложные в техническом отношении роботы, в «мозг» которых будет внесено что‑нибудь вроде Трех законов. Я с удовольствием сыграю роль пророка в данной области, только вот боюсь, что вряд ли это произойдет при моей жизни[6].

 

Новые учителя

 

Количество пожилых людей в мире увеличивается, а молодых, наоборот, уменьшается. Эта тенденция будет неуклонно расти, если уровень рождаемости станет падать, а достижения медицины будут продлевать продолжительность жизни человека.

Чтобы пожилые люди не теряли воображения и творческих способностей и не стали обузой для постоянно уменьшающегося числа активных молодых людей, я часто выступал с предложениями модифицировать нашу систему образования таким образом, чтобы человек продолжал учиться до конца жизни.

Но как это сделать? Откуда взять столько учителей?

А кто говорит, что учителя должны быть людьми или вообще живыми существами?

Предположим, что в грядущем веке коммуникационных спутников станет значительно больше, чем сейчас. Кроме того, они будут значительно сложнее и «умнее». Предположим, что вместо радиоволн главным средством связи станут лазерные лучи, которые обладают гораздо более широкими возможностями.

В таком случае появится возможность создать многие миллионы отдельных каналов для звука и изображения, и уж совсем просто представить себе, что каждый человек на Земле получит свой собственный телевизионный канал.

Каждый человек (ребенок, человек средних лет или старик) будет иметь свой собственный выход, к которому он сможет в любое удобное для него время подключать обучающую машину. Это будет гораздо более разносторонняя интерактивная обучающая машина, чем те, что имеются у нас в настоящий момент, поскольку компьютерные технологии тоже не стоят на месте.

Мы можем надеяться, что такие машины будут достаточно сложными и гибкими, чтобы модифицировать свои программы (иными словами, «учиться») в результате деятельности ученика.

Ученик будет задавать вопросы, отвечать на них, делать заключения, высказывать свое мнение, благодаря чему машина оценит его прогресс и в соответствии с этим будет менять скорость и интенсивность курса обучения и, что еще важнее, ставить акценты на вопросах, которые больше всего занимают ученика.

Однако персональная обучающая машина не должна быть очень большой. Размером и внешним видом она может походить на телевизор. Возможно ли, чтобы такое маленькое устройство содержало столько информации, сколько необходимо учащемуся, которого интеллектуальное любопытство может завести достаточно далеко? Нет, если речь идет об изолированной обучающей машине, – но в таких машинах нет никакой необходимости.

В цивилизации с развитыми компьютерными технологиями, способной производить обучающие машины, непременно будут существовать компьютеризированные библиотеки. Они могут быть соединены единой сетью и подключены к единой планетарной библиотеке.

Все обучающие машины будут иметь прямую связь с планетарной библиотекой и смогут получить в свое распоряжение любую книгу, периодическое издание, документ, звуковую или видеозапись в закодированном виде. Дальше ученик либо увидит интересующий его материал на экране, либо получит в распечатанном виде на бумаге, чтобы иметь возможность изучить его потом, в более спокойной обстановке.

Разумеется, необходимость в учителях‑людях не отпадет. Существуют некоторые предметы, например занятия спортом, театральным и ораторским искусством и тому подобное, где взаимодействие ученика с учителем просто необходимо. Кроме того, определенную ценность и интерес представляют групповые занятия студентов, когда они собираются вместе, чтобы обсудить друг с другом и с преподавателем какую‑нибудь проблему, поделиться своими умозаключениями, сделать новые открытия.

После такого общения с себе подобными они могут с известным облегчением вернуться к всезнающей, гибкой и бесконечно терпеливой машине.

Но кто будет учить обучающие машины?

Естественно, тот, кто учится у машины, будет одновременно и учить ее. Люди, которые с удовольствием занимаются интересующими их вопросами, склонны думать, наблюдать, размышлять, ставить эксперименты и время от времени изобретать нечто новое, неизвестное до них.

Они будут делиться своими знаниями с машиной, которая в свою очередь зафиксирует полученную информацию (не забыв, разумеется, указать имя изобретателя) в планетарной библиотеке, где ее смогут получить другие машины. Новые сведения останутся в памяти машины и послужат отправной точкой для тех, кто придет следом. Таким образом, обучающие машины позволят людям устремиться к достижениям, которые сейчас невозможно даже предсказать.

Я рассуждал здесь лишь о технической стороне обучения, а как насчет содержания? Какие предметы будут изучать люди? Когда наступит век обучающих машин? Поговорим об этом в следующем эссе.

 

Все, что ты хочешь

 

Трудности в решении вопроса о том, какие профессии появятся в будущем, обусловлены тем, какое будущее мы для себя выберем. Если мы позволим цивилизации погибнуть, единственной профессией будет борьба за выживание, и сомневаюсь, что многие добьются в ней успеха.

Предположим, что нам удастся не только сохранить свою цивилизацию, но и сделать ее процветающей и владеющей развитыми технологиями. В таком случае логичным кажется существование в будущем следующих областей деятельности: программирование, добыча полезных ископаемых на Луне, атомная и космическая инженерия, лазерные коммуникации, нейрофизиология и тому подобное.

Однако я не могу не думать о том, что развитие компьютеризации и автоматизации положит конец известным видам деятельности человека – всем этим отупляющим однообразным действиям, как физическим, так и умственным, которые могут превосходно выполняться машинами, причем машинами не сложнее тех, какие мы уже сейчас в состоянии создать.

Короче говоря, мир может стать настолько отлаженным, что потребуется лишь небольшая горстка людей‑"прорабов», которые будут следить за тем, чтобы население Земли было накормлено, имело уютные дома и было избавлено от повседневных забот.

А что станет делать большая часть человечества в практически полностью автоматизированном будущем? Как насчет тех, у кого не окажется способности или желания работать по одной из новых профессий будущего – или для кого не найдется в них места? Складывается впечатление, что из‑за отсутствия работы в нынешнем понимании этого слова им будет просто нечего делать.

Пугающая мысль. Что станут делать люди, когда у них не будет работы? Будут сидеть и скучать? Или, что того хуже, станут раздражительны и неуравновешенны? Существует поговорка, что дьявол всегда находит тех, кто бездельничает, и творит зло их руками.

Но мы делаем выводы исходя из существующей в наше время ситуации, когда люди, предоставленные сами себе, неминуемо скатываются в пропасть.

Вспомните, что истории известны времена, когда аристократия жила в праздности, питаясь плодами труда живых машин из плоти и крови – иными словами, рабов и крестьян. При высоком уровне развития культуры аристократия занималась искусствами, литературой и философией. Разумеется, такое времяпрепровождение нельзя рассматривать как полезную работу, но оно давало пищу для ума, часто становилось темой интересных бесед и оживляло жизнь тех, кто мог позволить себе тратить время на подобные вещи.

Речь идет о гуманитарных науках, и ими занимались люди, которым не нужно было ничего делать руками. Считалось, что такие занятия приносят гораздо больше удовлетворения и что они значительно возвышеннее технических наук – всего лишь полезных.

В таком случае, возможно, будущее увидит всемирную аристократию, которой станут служить единственно возможные в данной ситуации рабы – сложные машины. И тогда возникнет гораздо более широкая и интересная программа развития гуманитарных наук, которые будут преподавать машины.

Люди выберут компьютерные технологии, или атомную инженерию, или исследования лунной поверхности и добычу полезных ископаемых, или любую другую профессию, которая в определенный момент будет важной для процветания мира. Почему бы и нет? Такие профессии, требующие от человека определенных умений и развитого воображения, станут привлекательны для многих, и я не сомневаюсь, что желающих найдется достаточно, чтобы заполнить все необходимые места.

Впрочем, большинство людей займется более приземленными делами. Они могут собирать марки, глиняную посуду, живопись, готовить экзотические блюда, пробовать себя в театральном искусстве и тому подобное. Иными словами, будет предоставлен широкий выбор возможностей, и единственным принципом станет следующий:

«Все, что ты хочешь».

Каждый человек под руководством обучающих машин, достаточно сложных, чтобы предложить ему разные варианты деятельности, сможет выбрать то, чем он больше всего хотел бы заниматься.

Достаточно ли разумен человек, чтобы понимать, какое именно дело он сможет делать лучше всего? Но почему бы и нет? Кто другой может это знать? А если вам нравится ваше занятие, вы, естественно, добьетесь в нем успехов.

А если люди решат ничего не делать? Просто проспать свою жизнь?

Если они этого хотят – пусть так и поступают. Только я сомневаюсь, что так будет. Ничего не делать – трудная работа, и лично мне кажется, ее выберут те, кто никогда не имел возможности извлечь из своей души нечто более интересное и, следовательно, простое.

Получается, что в по‑настоящему автоматизированном и образованном мире машины будут оказывать на людей гуманитарное влияние. Машины будут делать тяжелую работу и тем самым облегчат жизнь человеку, который сможет заняться чем‑нибудь более приятным и занимательным для себя.

 

Наши друзья

 

Термину «робот» всего шестьдесят лет. Его придумал и впервые употребил в своей пьесе «К. И. К.» чешский драматург Карел Чапек – это слово на чешском языке означает «рабочий».

Однако сама идея значительно старше. Она родилась во времена, когда люди впервые начали мечтать о слуге, наделенном умом, сильном, не знающем ни усталости, ни скуки и не испытывающем разочарования. В греческих мифах богу огня Гефесту помогали золотые девушки, казавшиеся живыми и созданными из плоти и крови. А остров Крит охранял бронзовый великан по имени Талое, который без устали обходил его берега, чтобы не допустить туда врага.

Возможно ли существование роботов? И если да, так ли нам это нужно?

Механические устройства с пружинами, разными приспособлениями и храповиками, конечно, могут заставить похожие на людей машины действовать похоже на людей, но суть хорошего робота заключается в его способности думать – причем так, чтобы он мог быть полезным без постоянного надзора со стороны человека.

Однако чтобы думать, нужен мозг. Человеческое существо состоит из микроскопических нейронов, каждый из которых обладает невероятно сложной субструктурой. В нашем мозгу имеется 10 миллиардов нейронов и 90 миллиардов сопутствующих им клеток, соединенных между собой исключительно сложным образом. Разве можно повторить что‑нибудь подобное в искусственном виде и поместить в робота?

До изобретения электронного компьютера тридцать пять лет назад о нем даже и помыслить было невозможно. Прошло некоторое время после его рождения, и он становился все компактнее и компактнее, с каждым годом вмещал в себя все больше информации, а места занимал все меньше.

Вполне возможно, что через несколько десятилетий появится крошечный компьютер размером с человеческий мозг, которым можно будет снабдить робота. Совсем не нужно, чтобы такой компьютер был столь же продвинутым, как человеческий мозг, достаточно, чтобы он мог руководить действиями робота, в чью задачу входит, скажем, пылесосить ковры, управлять гидравлическим прессом или наблюдать за лунной поверхностью.

Робот, естественно, должен иметь встроенный источник питания; не будем же мы вечно привязаны к розетке на стене. Эту задачу решить совсем не сложно. В определенном смысле батарейка, нуждающаяся в периодической подзарядке, ничем не отличается от живого существа, которому периодически требуется пища.

Но зачем придавать роботам вид человека? Не разумнее ли сконструировать специализированную машину, предназначенную для выполнения определенных заданий, не заставляя ее страдать от неудобств вроде ног, рук и торса? Предположим, вы создадите робота, который сможет, засунув палец в печку, определить ее температуру, а затем поддерживать ее на одном уровне, манипулируя переключателем. Вне всякого сомнения, простой термостат не хуже такого робота справится с подобной задачей.

Однако подумайте вот о чем: за тысячи лет развития человеческой цивилизации мы создали технологию, приспособленную для удобств человека. Предметы, используемые людьми, конструируются таким образом, чтобы они подходили нам по размерам и форме. Машины строятся так, чтобы человек мог дотянуться до рычагов управления с учетом, например, длины и расположения человеческих пальцев.

Вспомните лишь о проблемах, которые возникают у тех, кто немного выше или ниже средней нормы – или делает все левой, а не правой рукой – чтобы понять, как важно правильно использовать технологический прогресс.

В таком случае, если нам требуется управляющее устройство, которое сможет работать с инструментами и приборами, предназначенными для людей (а значит, сумеет вписаться в технологическую схему), разумнее всего построить это устройство, придав ему внешний вид человека, со всеми изгибами и сочленениями, характерными для человеческого тела. Нам совсем не нужно, чтобы данное устройство оказалось слишком тяжелым или непропорциональным по нашим представлениям. Во всех отношениях соответствие среднему уровню будет как нельзя лучше.

Следует также заметить, что нам свойственно находить или воображать человеческие качества в существах и предметах, не имеющих никакого отношения к классу людей. Мы даем человеческие характеристики домашним животным и даже автомобилям. Мы персонифицируем природу и все, что к ней относится, а в древние времена делали из разных природных материалов богов и богинь по образу и подобию человека.

И разумеется, когда мы возьмем на службу механизированного думающего партнера (или, в конце концов, думающего слугу), то будем чувствовать себя в его обществе уютнее, а к нему относиться проще, если своими очертаниями он будет напоминать человека.

Гораздо легче подружиться с роботом, похожим на человека, чем со специализированной машиной, имеющей нейтральную форму. Иногда я думаю, что в том отчаянном положении, в котором сегодня оказалось человечество, мы будем рады иметь механических друзей, даже если они будут созданы нами самими.

 

Наши разумные инструменты

 

Роботам не нужно быть слишком умными, чтобы быть достаточно умными. Если робот сможет исполнять простые приказы и делать работу по дому, то есть управлять несложными машинами вроде кухонного комбайна, – иными словами, эффективно заниматься однообразной работой, – нас это полностью удовлетворит.

Построить робота непросто, потому что необходимо засунуть ему в голову компактный компьютер, если вы хотите, чтобы он хотя бы отдаленно напоминал человека. Создать достаточно сложный компьютер размером с человеческий мозг тоже очень трудно.

Но забудем на время о роботах. А зачем нам вообще строить компактный компьютер? Детали, из которых делаются компьютеры, становятся все меньше и меньше – от вакуумных трубок и транзисторов до интегральных схем и силиконовых чипов. Предположим, что в дополнение к тому, что мы уменьшаем детали, мы одновременно увеличиваем всю структуру.

Мозг, который становится слишком большим, в конце концов начинает терять эффективность, потому что нервным импульсам требуется больше времени, чтобы добраться до места своего назначения. Даже самые быстрые из них развивают скорость лишь около 6 километров в минуту. Нервный импульс может попасть из одного отдела мозга в другой за 0,002 секунды, но в мозгу длиной в 15 километров – если мы в состоянии себе представить такой – импульсу потребуется 2,5 минуты, чтобы добраться туда, куда ему нужно. Дополнительная сложность, которая становится возможной благодаря большим размерам, окажется совершенно бесполезной просто потому, что информация будет слишком долго путешествовать и обрабатываться в цепях мозга.

Но компьютеры используют электронные импульсы, которые передвигаются со скоростью более 17,5 миллионов километров в минуту. Компьютер протяженностью 650 километров будет посылать электронные импульсы из конца в конец примерно за те же 0,002 секунды. По крайней мере, в этом отношении компьютер таких громадных размеров в состоянии обрабатывать информацию с той же скоростью, с какой это делает человеческий мозг.

Таким образом, если мы представим себе производство компьютеров, состоящих из все более и более миниатюрных деталей, которые все более и более сложно взаимодействуют между собой, и одновременно представим, что наши компьютеры будут увеличиваться в размерах, не можем ли мы предположить, что рано или поздно наступит момент, когда они начнут выполнять работу, которую сейчас делают люди?

Существует ли теоретический предел разумности компьютера?

Я об этом не слышал. Мне кажется, что всякий раз, когда мы усовершенствуем какую‑то модель, делая ее более сложной, возникает ощущение, что этот компьютер способен на большее. Всякий раз, когда мы увеличиваем компьютер в размерах, стараясь одновременно сохранить сложность каждой детали, выясняется, что компьютер способен на большее.

Итак, если мы научимся делать достаточно сложные и достаточно большие компьютеры, почему они не могут быть наделены человеческим умом?

Кое‑кто наверняка нам не поверит и скажет: «Разве может компьютер создать великую симфонию, произведение живописи или новую научную теорию?»

В таких ситуациях мне всегда хочется ответить вопросом на вопрос: «А вы можете?» Впрочем, не следует забывать, что в мире, населенном самыми обычными людьми, есть и великие люди, настоящие гении. Однако они становятся гениями лишь потому, что атомы и молекулы у них в мозгу организованы особым образом. У них в головах нет ничего другого, кроме атомов и молекул. Если мы особым образом выстроим атомы и молекулы в компьютере, он тоже сможет создавать гениальные произведения; и даже если отдельные его детали будут не такими крошечными и изощренно сложными, как в человеческом мозгу, мы компенсируем это увеличением размеров компьютера.

Кое‑кто скажет: «Но компьютеры могут делать только то, на что они запрограммированы».

Ответ на это таков: «Совершенно верно. Но мозг тоже может делать только то, на что он запрограммирован – генами. Частью программы мозга является способность учиться, что должно войти и в программу сложного компьютера».

На самом деле, если можно создать компьютер, не уступающий по уровню интеллекта человеку, почему нельзя сделать его умнее ?

Действительно, почему? Может быть, в этом и заключается эволюция. За три миллиарда лет, методом проб и ошибок на уровне атомов и молекул, в результате чрезвычайно медленного и постепенного усовершенствования появился наконец вид, достаточно разумный для того, чтобы сделать следующий шаг вперед уже в течение века или даже нескольких десятилетий. И вот тогда начнется настоящий прогресс.

Однако если компьютеры станут умнее людей, не возникнет ли опасность, что они нас заменят? Ну а почему бы и нет? Они могут быть не только разумными, но и добрыми и позволят нам просто плыть по течению. Будут держать нас при себе в роли домашних животных или так, про запас.

А теперь подумайте, что мы сами сейчас делаем со всеми живыми существами и с самой планетой, на которой живем. Вполне возможно, уже пора нас заменить? Может быть, главная опасность заключается в том, что компьютеры будут развиваться недостаточно быстро, чтобы занять наше место?

Подумайте об этом[7].

 

Законы роботехники

 

Довольно трудно думать о компьютерах, представляя себе вариант, когда они могут «захватить» наше место.

Заменят ли они нас, превратят ли в какой‑то пережиток, выбросят ли на свалку, как мы в свое время расправились с копьями и трутницами?

Если мы представим себе компьютерный мозг внутри металлической имитации человека, которую мы называем роботом, страх окажется еще более ощутимым. Роботы так напоминают людей, что один только их внешний вид может послужить причиной возникновения у них мятежных мыслей.

Эта проблема стала одной из самых популярных в мире научной фантастики в 1920‑1930‑х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей.

Когда я был молодым человеком, мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода, поскольку мне представлялось, что робот – это всего лишь машина, а люди постоянно строят машины. Учитывая, что все машины так или иначе представляют для нас опасность, мы специально встраиваем в них самые разнообразные защитные устройства.

В 1939 году я начал серию рассказов, в которых с симпатией описывались тщательно сконструированные машины, выполнявшие определенные задачи, причем в каждой из машин имелось встроенное устройство, обеспечивающее их миролюбие.

В рассказе, написанном в октябре 1941 года, я наконец дал имя этому защитному устройству – Три закона роботехники. (Я изобрел термин «роботехника», который до тех пор никогда и нигде не использовался.)

Они звучат так:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.

Эти законы внесены в компьютеризированный мозг робота и явились темой многих моих рассказов, посвященных роботам. По правде говоря, они так понравились читателям и звучали так разумно, что другие писатели‑фантасты начали использовать их (никогда не цитируя напрямую – в отличие от меня), и все старые рассказы о роботах, уничтожавших своих создателей, просто умерли.

Ну, это научная фантастика. А как насчет работ по созданию сложных компьютеров и искусственного интеллекта, которые проводятся учеными? Когда строятся машины, обладающие собственным разумом, будут ли в их сознание внедрены законы, подобные Трем законам роботехники?

Разумеется да, поскольку создатели компьютеров и сами обладают высокоразвитым интеллектом. Более того, защита будет не только иметь некоторое отношение к Трем законам – она будет на них опираться.

В тот момент, когда я придумал Три закона, я не понимал, что человечество уже давным‑давно пользуется ими. «Три закона инструментов» звучат следующим образом:

1. Инструмент должен быть безопасным для использования.

(Это же очевидно! У ножей и мечей имеются рукояти. А инструмент, который может причинить вред тому, кто взял его в руки – если, конечно, человек знает об опасности, – никогда не будет использован, каким бы полезным он ни казался.)

2. Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.

3. Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.

Никто никогда не цитирует эти три закона, поскольку все принимают их как должное. Каждый закон, если о нем заговорят вслух, будет встречен дружным восклицанием вроде: «Ну, это же любому ясно!»

В таком случае давайте сравним «Три закона инструментов» с Тремя законами роботехники, и вы увидите, что они полностью совпадают. А разве может быть иначе? Ведь робот, или, если желаете, компьютер, является инструментом, которым пользуется человек?

Но можно ли сказать, что мы защищены от всех неприятностей в достаточной степени? Подумайте об усилиях, которые предпринимаются, чтобы сделать автомобили безопасными, – однако они продолжают убивать около 50 000 американцев в год. Подумайте об усилиях, которые предпринимаются, чтобы обезопасить банки, – однако ограбления продолжаются. Подумайте об усилиях, которые предпринимаются, чтобы защитить компьютерные программы, – однако количество компьютерного мошенничества растет.

Впрочем, если компьютеры станут достаточно разумными, чтобы «перехватить инициативу», они уже не будут нуждаться в ограничениях, предписываемых Тремя законами. И тогда по доброте душевной они решат заботиться о нас и оберегать от неприятностей и проблем.

Однако кое‑кто из вас может возразить, что мы не дети и, как только возникнет необходимость нас охранять, мы лишимся своей человеческой сути.

Правда? Посмотрите на сегодняшний мир и мир прошлого и задайте себе вот какой вопрос: в самом ли деле мы не дети (причем склонные к насилию и уничтожению всего вокруг) и справедливо ли утверждение о том, что за нами не нужно присматривать?

Если мы хотим, чтобы с нами обращались как со взрослыми, возможно, нам следует вести себя как взрослые. И когда же начнем?

 

Будущая фантастика

 

В прошлом три фундаментальных достижения в области коммуникаций полностью изменили все области нашей жизни. Первое – это речь, второе – письмо и третье – книгопечатание.

Сейчас можно говорить о четвертом достижении, не менее важном, чем первые три, – о компьютере. Четвертое революционное изобретение позволит человеку развить свои творческие способности до небывалых высот. И если мы не уничтожим мир при помощи ядерного оружия, перенаселения или загрязнения окружающей среды, мы получим мир технодетей, настолько отличающийся от нынешнего, насколько нынешний отличается от мира пещерного человека. Каким будет мир следующего поколения по сравнению с миром наших предков?

Ответ, который напрашивается сам собой: компьютер можно рассматривать как еще один вид развлечения, что‑то вроде супертелевизора. Его можно будет использовать для сложных игр, общения с друзьями и других простых вещей. Однако даже это может коренным образом изменить нашу жизнь. Прежде всего, общение через компьютерные сети уничтожит расстояния. Весь земной шар станет представляться нам похожим на соседний город или даже дом – и это будет иметь важные последствия. Человечество сможет считать себя единым целым, а не сборищем постоянно враждующих социальных групп. В мире появится общий lingua franca язык (вне всякого сомнения, близкий по своему строению к современному английскому), который будут понимать все, хотя люди, разумеется, сохранят свои родные языки для местного пользования.

Затем, поскольку коммуникации больше не будут представлять никаких проблем, а механическими и электронными устройствами можно будет управлять издалека (например, телеметрия уже сейчас позволяет инженерам отправлять инструкции – и получать ответы – на устройства, которые находятся в районе других планет в миллиардах километров от Земли), благодаря компьютерам исчезнет необходимость использовать транспортные средства для сбора информации.

Естественно, никто не намерен запрещать путешествия. Вы по‑прежнему сможете лично отправиться в туристическую поездку или навестить друзей и родных. Но вам больше не придется сражаться с толпами людей только для того, чтобы получить сведения, которые можно передать по компьютеру.

Это значит, что технодети будущего привыкнут жить в децентрализованном мире и смогут делать все, что им необходимо, прямо из собственного дома или из того места, где они в данный момент окажутся. Получается, что они будут одновременно чувствовать себя совершенно изолированными и связанными друг с другом.

 

Дети следующего поколения – и общество, которое они построят, – станут свидетелями огромной пользы, приносимой компьютерами в области образования. В настоящее время наше общество заинтересовано в том, чтобы дать образование максимально возможному количеству детей. Ограниченное число учителей приводит к групповому методу обучения. Каждый ученик школы, находящейся в данном районе, штате или государстве, получает примерно одинаковое образование, причем одинаковыми методами. Но из‑за того, что каждый ребенок имеет индивидуальные пристрастия и способности, результаты группового обучения не дают желаемых результатов. Например, большинство взрослых, сохранивших весьма неприятные воспоминания о своей школьной жизни, не хотят учиться дальше. Они считают, что с них достаточно.

Учение может доставлять удовольствие, даже стать всепоглощающим занятием, если позволить ребенку заниматься тем, что лично ему интересно, причем тогда и так, как он хочет. В настоящий момент такая система возможна благодаря существованию публичных библиотек. Но библиотека – не слишком удобное средство обучения. Туда нужно идти, взять можно только ограниченное количество книг, которые следует возвратить через определенное время.

Совершенно очевидно, что решение этой проблемы заключено в переносе библиотек в дома. Ведь проигрыватели помогли нам получить концертный зал прямо у себя дома, телевизор заменил кинотеатр. А компьютер может стать нашей домашней библиотекой. Дети будущего получат возможность удовлетворить свое любопытство. С самого раннего возраста они научатся управляться со своим компьютером и давать ему определенные задания. По мере возникновения разных интересов (которыми, надеюсь, будут руководить школьные учителя) они смогут больше узнавать за более короткое время, а кроме того, получат возможность расширить диапазон своих познаний и увлечений.

В образовании усилится компонент самомотивации. Возможность следовать по самостоятельно выбранной дороге позволит техноребенку получать от процесса обучения удовольствие, в результате он превратится в активного техновзрослого – любознательного, энергичного, готового расширять свой интеллектуальный кругозор до тех пор, пока его мозг не состарится.

Новый подход к проблемам образования обязательно повлияет на другую область нашей жизни – работу. До настоящего момента большинство людей работают в местах, где их мозг подвергается серьезной нагрузке. Во времена, когда главной была грубая физическая работа, мало у кого появлялась возможность поднять глаза к небу и посмотреть на звезды, задуматься об абстрактных вещах. Даже когда промышленная революция подарила людям машины, которые освободили их от тяжелого физического труда, бессмысленная «квалифицированная» работа никуда не делась. И сейчас те, кто трудятся на конвейерах или в офисах, выполняют однообразные операции, не требующие затрат умственной энергии.

Впервые в истории умелые машины, или роботы, смогут выполнять эту утомительную работу. Любая простая и однообразная работа, с которой роботы в состоянии справиться, возможно, даже лучше людей, должна считаться ниже нашего достоинства. По мере того как технодети будут превращаться в техновзрослых и начнут работать, у них появится достаточно времени для проявления изобретательности и творческих способностей, чтобы отдавать свой талант театру, науке, литературе, вопросам управления государства и развлечениям. Они будут готовы к такой работе благодаря компьютеризации образования.

Кто‑то наверняка скажет, что нельзя рассчитывать, будто творческие способности начнут проявляться сразу у большого количества людей. Они так думают, потому что живут в мире, в котором мало кому удается избежать интеллектуального уничтожения на работе, которая не требует работы ума. Все повторяется: всегда считалось, что грамотность, например, доступна лишь тем, кто обладает умственными способностями, особо подготовленными для восприятия сложных задач чтения и письма. Разумеется, с появлением книгопечатания и массового образования выяснилось, что грамотными в состоянии стать большинство людей.

 

Что все это означает? Что нам придется жить в мире безделья? Как только компьютеры и роботы станут делать за нас скучную, механическую работу, мир начнет стремительно развиваться. Появятся ли в результате новые «гении Возрождения»? Да. Сейчас отдых составляет небольшую часть нашей жизни, которая либо плотно используется вследствие недостатка времени, либо пропадает из‑за ничегонеделания в отчаянной попытке забыть о существовании ненавистного мира работы. Когда мы получим намного больше свободного времени, у нас пропадет ощущение, будто мы живем по часам, которые постоянно убегают вперед, и не возникнет желания восстать против рабства ненавистной работы. Люди смогут не спеша попробовать разные виды деятельности, стать знатоками сразу в нескольких областях, развить свои таланты.

Я не пытаюсь сочинять будущее. История знала времена, когда одни люди имели рабов – жестокую человеческую версию компьютера, – которые на них работали. Другие имели покровителей, которые их поддерживали. Когда даже у небольшого количества людей появляется достаточно свободного времени, чтобы следовать за своими интересами, от этого тут же выигрывают культура и искусство. Золотой век в Афинах в V веке до нашей эры, итальянское Возрождение в XIV–XVI веках являются самым ярким тому примером.

Люди не просто получат возможность заниматься тем, что им нравится, – многим захочется поделиться своими достижениями с остальными. Ведь большинство из нас природа наделила талантами. Мы поем, когда принимаем душ, участвуем в самодеятельных спектаклях или в парадах. Я полагаю, что XXI век увидит общество, в котором одна треть населения будет занята в развлечении остальных двух третей.

Кроме того, обязательно появятся новые формы развлечений, которые сейчас представляются нам весьма смутно. Трехмерное телевидение предвидеть легко. Да и само космическое пространство станет новой ареной для деятельности. Например, при земном тяготении, приближающемся к нулю, игра в теннис и футбол могут приобрести совсем иной вид. Балет и даже просто танцы будут поражать нас своей необычностью и потребуют особой координации движений. Наблюдая за такими представлениями, мы будем получать истинное наслаждение, поскольку двигаться вверх и вниз станет так же просто, как назад и вперед или влево и вправо.

 

А как насчет тех людей, которые не захотят делиться с окружающими своими достижениями и вместо этого решат уйти в собственный мир? Например, человек, изучающий историю костюма, сможет получить необходимую ему информацию из мировых библиотек, просто находясь у себя дома. А вдруг мы окажемся в мире, где огромное количество интеллектуалов станет затворниками? Вдруг создадим интровертов?

Лично я считаю, что такая возможность пренебрежимо мала. Тот, кто отчаянно интересуется какой‑то одной областью знания, чаще всего становится добровольным миссионером. Такие люди обязательно захотят поделиться своими открытиями с остальными. Даже сегодня люди, занимающиеся изучением какого‑то предмета, склонны рассказывать о своих достижениях другим, а не сидеть тихонько в углу. Если и существует какая‑то опасность, так это то, что появится больше зануд, желающих всем поведать о предмете своих изысканий, чем отшельников.

Не следует также забывать и о тех, кто делится своими знаниями, движимый желанием объединиться с другими людьми, создать, пусть и временно, собственный мир, в котором всех занимает одно и то же дело. В 1970‑х годах кому‑то пришла в голову мысль создать общество любителей «Звездных войн», предполагая, что в него войдет не больше сотни человек. В результате желающих стать членами клуба оказалось несколько тысяч (а еще считается, что телевидение разобщает!). Кроме того, я не сомневаюсь, что многие выберут для себя общение при помощи компьютеров – в диалоговом режиме.

Я уверен, что возникнет глобальная компьютерная система связи, когда мы сможем общаться с теми, кто живет на другом конце света и разделяет наши интересы. Будут проходить постоянные обмены мнениями, в которых станут участвовать самые разные люди, появляться новые участники и идеи. А в результате процесс обучения и образования будет идти непрерывно.

Я предвижу возникновение общества, пропитанного духом творчества, где люди тянутся друг к другу, новые идеи возникают и распространяются с невиданной доселе скоростью, перемены и самые разнообразные достижения улучшают нашу планету (не говоря уже о небольших искусственных мирах, созданных в космосе). Это будет новый мир, который будет рассматривать прежние времена как период, когда жили лишь наполовину.

 

Машины и роботы

 

С точки зрения физика машина – это устройство, которое переносит силу из одной точки, где она прилагается, в другую, где она используется и в этом процессе изменяет свою мощность и направление.

В этом смысле для человеческого существа трудно использовать что‑либо, что не является частью его тела, не включая в этот процесс машин. Пару миллионов лет назад, когда еще трудно было решить, перейдена ли уже грань между обезьяной и человеком, существовала практика обкалывания камней, и их острые края служили первобытными ножами.

Даже такой заостренный камень можно считать машиной, поскольку сила, которая прикладывается к тупому концу рукой, передается на острый конец и в процессе становится значительнее. Сила, распространяющаяся по большой площади тупого конца, равняется силе, которая поступает на маленький острый. Следовательно, давление (произведение силы на площадь) увеличивается и, без увеличения общей силы, влияет на действие. И тогда камень с острым краем может «вгрызаться» в предмет – в отличие от круглого камня или человеческой руки.

В реальной жизни никто, кроме самых упрямых физиков, не назовет заостренный камень машиной. В действительности мы считаем машинами достаточно сложные устройства и склонны давать им имена, если они не управляются напрямую человеком.

Чем меньше устройство зависит от человека, тем более механическим оно считается. В результате целая отрасль техники занимается конструированием машин, которые все менее и менее требуют человеческого контроля и все более и более обладают чем‑то вроде собственной воли. Заостренный камень – это почти часть руки, которую он никогда не покидает. Копье объявляет о своей независимости в тот момент, когда оно выпущено из руки.

Уход от прямого и постоянного контроля за механизмами позволил человеку, даже в примитивном обществе, сделать шаг вперед по дороге экстраполяции и представить себе устройства, еще более независимые и самостоятельные. И тут же возник некий вид фантазий, который кое‑кто, дающий этому термину более широкое определение, чем я, назовет научной фантастикой.

Человек передвигается на ногах при помощи прямого и непосредственного контроля собственных действий; верхом на лошади – управляя более сильными мышцами животного при помощи поводьев и собственных пяток; на корабле – используя невидимую силу ветра. Почему бы не пойти дальше, например, к семимильным сапогам, ковру‑самолету, самоходным лодкам? Сила, которая применяется в подобных устройствах, называется «волшебной», ею обладают сверхлюди и наделенные трансцендентальной энергией боги и демоны.

Подобные фантазии касаются не только физических возможностей неодушевленных предметов, но и чрезмерно развитых умственных способностей объектов, считающихся неодушевленными. Искусственный интеллект – вовсе не современное понятие.

Греческий бог огня Гефест, согласно «Илиаде», имел в своем дворце помощниц – золотых механических девушек, которые были так же энергичны, подвижны и умны, как и существа из плоти и крови.

А почему бы и нет? В конце концов, если человек‑кузнец создает неодушевленный металлический предмет из самого обычного железа, почему бы богу‑кузнецу не произвести на свет неодушевленный предмет из благородного металла – золота – и не наделить его разумом? Это очень простая экстраполяция, являющаяся второй натурой писателей‑фантастов (которые в примитивные времена, в отсутствие науки, являлись сочинителями мифов).

Однако ремесленники‑люди, наделенные достаточным интеллектом, тоже в состоянии создавать механические существа. Вспомните Талоса, бронзового воина, созданного Дедалом – Томасом Эдисоном греческих мифов. Талое охранял берега Крита, обходя остров один раз в день и прогоняя прочь чужаков. Жидкость, которая поддерживала в нем жизнь, удерживалась пробкой, находившейся у него в пятке. Когда аргонавты высадились на Крите, Медея при помощи волшебства вытащила пробку, и Талое лишился своей псевдожизни.

(Придать символическое значение этому мифу очень просто. Крит начиная с IV тысячелетия до нашей эры, еще до того как греки появились в Греции, имел военно‑морской флот, первый в истории человечества. Флот позволил жителям острова создать империю, включив в нее близлежащие острова и часть материка. Греческие варвары, напавшие на эти земли, до определенной степени являлись подданными этой империи. Воины в бронзовых доспехах охраняли владения империи на своих кораблях в течение двух тысяч лет – но все‑таки потерпели поражение. Пробка была вынута, если можно так сказать, когда в 1500 году до нашей эры на острове Тера началось извержение вулкана и наводнение сильно ослабило критскую цивилизацию. Вот тогда и появились греки. Однако тот факт, что миф является отдаленным и искаженным изложением действительных событий, не мешает ему стать напоминанием о том, как устроено воображение человека.)

Получается, что с самого начала машина заставила человечество обратить свое внимание на двоякую проблему. Пока машина полностью находится под контролем человека, она является полезной и заметно облегчает нам жизнь. Однако люди знают по собственному опыту (причем уже довольно давно), что технология развивается, машины неминуемо становятся лучше и сложнее, а их усовершенствование постоянно движется в направлении уменьшения контроля человека и увеличения автономности – причем на головокружительной скорости.

Чем меньше человек контролирует машины, тем более пугающими они становятся. Даже в тех случаях, когда этот процесс внешне не заметен или происходит чрезвычайно медленно, не требуется большого ума, чтобы заглянуть в будущее, во времена, когда машины полностью освободятся от контроля людей. Это нас пугает.

 

А чего мы боимся?

Самым простым и очевидным ответом является следующий: мы боимся, что машины, переставшие нам подчиняться, могут причинить людям вред. В действительности любое технологическое достижение, даже самое фундаментальное, несет в себе двойной аспект «хорошо – плохо», и, следовательно, мы смотрим на него с любовью и страхом.

Огонь вас согревает, дает вам свет, готовит для вас еду, плавит руду – но если он вырвется на свободу, то сжигает и убивает. Ваши ножи и копья убивают ваших врагов (животных и людей) – но если они оказываются в руках ваших врагов, они становятся смертельно опасны для вас. Примеры можно приводить до бесконечности, потому что нет на свете ни одного вида человеческой деятельности, которая, вырвавшись из‑под контроля и причинив вред, не вызвала бы у многих тяжелого вздоха и слов: «Вот если бы мы жили простой и добродетельной жизнью наших предков, которые не знали этих новомодных глупостей!»

Но неужели страх перед самыми разными несчастьями, идущий из древних времен, неужели запрятанный в самых глубинах нашей души ужас так трудно выразить, что он становится причиной создания мифов?

Думаю, нет. Страх перед неудобствами и вредом, периодически причиняемым нам машинами (по крайней мере, причиняемым до недавних пор), заставляет человека лишь печально вздыхать. Удовольствие, которое человек испытывает, пользуясь машинами, всегда перевешивало страхи. Мы можем сделать такой вывод, заглянув в историю, где мы вряд ли найдем хоть один пример отказа человечества от какого‑нибудь технического достижения из‑за неудобств или опасений перед его побочными эффектами. Да, бывало, что технологический прогресс замедлятся, приостанавливался или цивилизация была отброшена в своем развитии назад из‑за войн, гражданских беспорядков, эпидемий или природных катаклизмов, и мы называем эти периоды истории «темными временами», а люди, пережившие их, стараются сделать все возможное, чтобы уже следующее поколение вернулось на путь прогресса.

Человечество всегда было склонно бороться со злом, которое несет в себе развитая технология, не путем отказа от нее, а достижением еще более высокого уровня развития. Дым от печи выводится из дома при помощи трубы. Чтобы защититься от опасности, которую представляет собой копье, люди придумали щит. Города обносили высокими стенами, чтобы их не могла разрушить вражеская армия.

Эта тенденция, несмотря на постоянные протесты, продолжается и по сей день. Так появился характерный продукт нашего времени – автомобиль. Он загрязняет воздух, создает шум, убивает пятьдесят тысяч американцев в год и наносит повреждения сотням тысяч.

Но разве кто‑нибудь всерьез предполагает, что американцы добровольно откажутся от своих кровожадных любимцев? Даже участники маршей протеста, выступающие против механизации современной жизни, приезжают на место сбора на машинах.

В первый раз большое количество людей увидело грандиозное зло, которое несет в себе прогресс и которое невозможно уравновесить никакими положительными аспектами, в 1945 году, когда появилась атомная бомба. До тех пор никакое достижение технологического прогресса не вызывало такого яростного протеста населения Земли.

На самом деле реакция на атомную бомбу вызвала к жизни новую тенденцию – люди стали еще жестче выступать против других достижений науки, побочные эффекты которых они считали недопустимо опасными. Это, например, биологическое оружие, сверхзвуковые самолеты, генетические эксперименты, проводимые на микроорганизмах, ядерные реакторы, аэрозольные баллончики.

И тем не менее ни от чего из этого списка мы не отказались.

 

Однако мы вышли на верный путь. Нас не особенно пугают машины, если мы знаем, что, несмотря на вред, который они могут нам причинить, они несут с собой и положительное начало. Или что они опасны только для некоторых из нас – например, для тех, кто оказался на месте автомобильной катастрофы.

Большинству ведь удается остаться в живых и радоваться удобствам, которые дарят нам автомобили.

Нет, только когда машины начинают угрожать всему человечеству таким образом, что каждый отдельный его представитель чувствует, что ему лично не удастся избежать опасности, – только тогда страх пересиливает привязанность.

Но поскольку технологический прогресс начал угрожать благополучию людей лишь в последние тридцать лет, до тех пор мы ничего не боялись – а может быть, человечеству всегда угрожала опасность?

В конце концов, разве человек может погибнуть только став жертвой грубой физической силы? Разве машины не могут уничтожить суть человечества, наш мозг и душу, не тронув при этом тела, которые остаются в целости, сохранности, тепле и уюте?

Например, многие боятся, что телевидение лишает людей способности читать, а благодаря карманным калькуляторам они разучатся считать. Вспомните о спартанском царе, который, увидев катапульту в действии, с горечью заявил, что пришел конец человеческой отваге.

Разумеется, такие, не слишком заметные на первый взгляд, опасности существовали с того самого момента, как человечество сумело до определенной – весьма незначительной – степени подчинить себе природу, что уменьшило для него опасность прямого физического ущерба.

Существует два вида перемен, которые происходят во вселенной. Одна из них циклична и совершенно безопасна.

День и ночь, зима и лето, дождь и хорошая погода регулярно сменяют друг друга. Следовательно, о настоящих переменах здесь говорить нельзя. Такое положение может наводить на нас тоску, но оно удобно и вселяет чувство безопасности и покоя.

По правде говоря, идея коротких циклических перемен, означающих отсутствие настоящих перемен, настолько устраивает людей, что они стараются найти эту закономерность и в других областях. Например, в отношениях между людьми существует понятие смены поколений, династий, империй. Аналогия с природными циклами не слишком правильна, поскольку в данных случаях повторение не всегда бывает абсолютным, и это утешает.

Цикличность оказалась настолько привлекательным понятием для человека, что мы часто видим ее там, где ее нет.

Если речь идет о вселенной, все свидетельства указывают на гиперболическую эволюцию: вселенная, которая постоянно разрастается после одного начального взрыва и заканчивает свои дни в виде бесформенного газового облака и черных дыр. Однако наши чувства заставляют нас, вопреки всем фактам, придумывать понятия колебательных, цикличных, повторяющихся вселенных, в которых даже черные дыры являются лишь воротами, ведущими к новым большим взрывам.

Однако существует еще один вид перемен, которых следует избегать любой ценой и которые несут в себе зло. Это перемены в одну сторону, такие, последствия которых исправить невозможно.

Что же в них плохого? Одна из них затрагивает нас непосредственно и искажает нашу собственную вселенную.

Мы рано или поздно стареем, и хотя когда‑то мы были молоды, юность уже никогда к нам не вернется. Наши друзья умирают, и хотя когда‑то они были живы, они уже никогда не будут с нами. И с этим мы ничего не можем поделать! Тот факт, что жизнь заканчивается смертью, не имеющей никакого отношения к циклическим переменам, пугает нас и одновременно наполняет осознанием собственного бессилия.

А хуже всего то, что вселенная с нами не умрет. Она движется вперед, живет, продолжая наслаждаться своими циклами, а мы страдаем от ее равнодушия к тому факту, что нас уже больше никогда не будет.

Более того, другие человеческие существа не умирают вместе с нами. Молодые люди, родившиеся после нас и в самом начале своей жизни зависевшие от нас, вырастают и занимают наше место, когда мы стареем и умираем. И от этого мы тоже страдаем.

Я сказал, что бесполезно сражаться с ужасом, который несет с собой смерть, с осознанием того, что жизнь будет продолжаться и на ваше место придут другие? Это не совсем так. Бесполезность становится очевидной, только если мы пытаемся ухватиться за доводы разума, но нет никакого закона, требующего, чтобы мы так поступали, – и мы так не поступаем.

Смерти можно избежать простым отрицанием ее существования. Мы можем считать, что наше появление на Земле – всего лишь иллюзия, короткий испытательный срок перед вступлением в последующую жизнь, где ничто не меняется и нам не грозят необратимые изменения. Или мы можем верить в то, что умирает только наше тело, но в нас имеется некая бессмертная составляющая, которая после смерти одного тела перебирается в другое – и так до бесконечности.

Мифические представления о загробной жизни и трансмиграции могут сделать жизнь вполне терпимой для многих людей и позволить им относиться к приближающейся смерти гораздо спокойнее. Однако страх перед смертью в данном случае лишь замаскирован и скрыт – он не исчезает совсем.

В греческих мифах рассказывается об успешной замене одних бессмертных другими – и мы получаем огорчительное доказательство того, что даже вечная жизнь и сверхъестественные возможности не защищают от опасности перемен и от унижения, которое приносит с собой осознание того, что на твое место придут другие.

Греки считали, что сначала вселенной правил беспорядок (Хаос), ему на смену пришел Уран (небо), чьи искусно разбросанные звезды и планеты, движущиеся по сложным орбитам, символизировали порядок (Космос).

Однако Урана оскопил его сын Кронос. Кронос, его сестры и братья и их потомки правили вселенной.

Кронос боялся, что его дети поступят с ним так же, как он со своим отцом (нечто вроде цикла необратимых перемен), и пожирал их, как только они рождались. Однако жена сумела его обмануть, спасти своего последнего сына – Зевса – и спрятать его в безопасном месте. Зевс вырос, достал своих братьев и сестер из желудка отца, выступил войной против Кроноса и его сторонников, победил и занял место правителя.

(В других культурах также существуют мифы о заменах подобного рода – даже в нашей собственной. Сатана пытался занять место Бога, но потерпел неудачу; этот миф получил самое яркое свое выражение в «Потерянном рае» Джона Милтона.)

Мог ли Зевс чувствовать себя в безопасности? Он полюбил нереиду по имени Фетида и женился бы на ней, если бы парки не предупредили его, что Фетиде суждено родить сына, который окажется сильнее отца. Получалось, что ни Зевс, ни какой‑то другой бог не могли на ней жениться. И потому ее заставили выйти замуж за смертного, Пелея. Она родила смертного сына, единственного ребенка, которого имела, – так говорится в мифах. Ее сын Ахиллес был намного сильнее своего отца (и, как и Талое, имел только одно слабое место – пятку, пронзив которую его можно было убить).

А теперь давайте перенесем страх перед необратимыми переменами и опасностью, что другой займет твое место, на отношения людей и машин. И что же у нас получается? Естественно, больше всего мы боимся не того, что машины причинят нам физический вред, а того, что они вытеснят нас и займут наши места. И дело не в том, что наша деятельность перестанет быть эффективной, – просто мы станем больше никому не нужны, словно устаревшая модель какого‑нибудь устройства.

 

Идеальная машина – это умная машина, и для рассказов о ней есть только один сюжет: она создается, чтобы служить человеку, но в конце концов одерживает над ним верх. Она не может существовать, не угрожая захватить наше место в мире, и, следовательно, ее необходимо уничтожить – иначе погибнем мы сами.

Всегда существует опасность метлы ученика колдуна, голема рабби Лоу, чудовища, созданного доктором Франкенштейном. Как рожденный из нашего тела ребенок занимает наше место, так и машина, рожденная силой нашей мысли, заменяет нас.

«Франкенштейн» Мэри Шелли, увидевший свет в 1818 году, демонстрирует нам пик страха, однако обстоятельства сложились таким образом, что этим страхам не суждено было сбыться – по крайней мере, довольно долго.

Между 1815 годом, когда закончилась целая серия европейских войн, и 1914 годом, увидевшим начало новой войны, был короткий период, когда человечество могло себе позволить роскошь оптимистических настроений насчет своих отношений с машинами. Промышленная революция неожиданно наделила людей новым могуществом и претворила в жизнь мечты о воцарении технологической утопии на Земле, вместо надежд увидеть ее в мифическом раю. Положительные аспекты, которые несли в жизнь машины, значительно перевешивали отрицательные, и любовь к ним стала сильнее страха.

Именно тогда и родилась современная научная фантастика – под этим термином я подразумеваю вид литературы, которая описывает общество, отличающееся от нашего уровнем технологического развития и своим социальным устройством. Предполагается, что мы рано или поздно, путем изменений в вышеуказанных областях, перейдем в какое‑нибудь из таких обществ. (Этим научная фантастика отличается от фэнтэзи или от «спекулятивной» фантастики, где придуманное общество не может быть связано с нашим никакими разумными переменами.)

Благодаря времени, когда она родилась, современная научная фантастика звучала весьма оптимистично. Отношения человека и машины осуществлялись на уровне пользования и управления. Могущество человека росло, машины были его послушными инструментами, при помощи которых он добывал для себя благополучие, чувствовал себя спокойно и уверенно и путешествовал в самые удаленные уголки вселенной.

Оптимистические настроения встречаются и по сей день, в особенности в произведениях тех писателей, чьи представления успели сформироваться до появления атомной бомбы, – я могу назвать среди них Роберта Хайнлайна, Артура К. Кларка и себя.

Тем не менее с началом Первой мировой войны людей охватило разочарование. Оказалось, что научно‑технический прогресс, обещавший людям рай, способен устроить на Земле самый настоящий ад. Прекрасный самолет, реализация многовековой мечты, может нести на борту бомбы; химическая промышленность, выпускавшая лекарства, анестетики и краски, производит отравляющие газы.

И снова нас охватил страх, что кто‑то другой отнимет у нас наше место под солнцем. В 1921 году, через некоторое время после Первой мировой войны, свет увидела драма Карела Чапека «R.U.R.» – снова рассказ о Франкенштейне, только на планетарном уровне. Было создано не одно чудовище, а целая армия роботов (по‑чешски это слово означает «рабочий»). И не одно чудовище выступило против своего создателя, а целая армия роботов стерла с лица Земли человечество и заняла место людей.

С началом выхода в свет журнала, посвященного научной фантастике, с 1926 по 1959 год (треть века или целое поколение) оптимизм в научной фантастике активно сражался с пессимизмом – главным образом, благодаря влиянию Джона У. Кэмпбелла‑младшего – и победил.

Начиная с 1939 года я написал серию важных рассказов о роботах, которые совершенно сознательно противостояли «комплексу Франкенштейна» и повествовали о роботах как о слугах, друзьях и союзниках человечества.

Впрочем, в конце концов победил все‑таки пессимизм.

Во‑первых, механизмы стали пугающими. Разумеется, атомная бомба грозила физическим уничтожением, но хуже нее была быстро развивающаяся электронная машина – компьютер. Казалось, компьютеры крадут у человека душу. Очень легко и быстро они решают наши рутинные проблемы, и мы все чаще и чаще доверчиво предоставляем им право решать за нас самые разные вопросы и принимаем их решения с унизительной покорностью.

Бомба может нас уничтожить, компьютер – заменить.

Вторая причина, в отличие от первой, не лежит на поверхности и заключается в том, что изменился характер писателя фантаста.

До 1959 года существовало множество разделов литературы, причем научная фантастика считалась среди них самой незначительной. Писатели получали меньше денег и славы, чем представители других разделов, поэтому в данную область шли только те, кто был настолько одержим ее идеями, что слава или деньги для них отступали на второй план. Очень часто их одержимость рождалась из всепоглощающей любви к науке, и писатели создавали произведения, в которых человек завоевывал вселенную, научившись подчинять ее своей воле.

В 1950‑х годах, однако, журналы, которые печатали литературные произведения, погибли в неравной борьбе с телевидением, и к началу 1960‑х единственной областью литературы, которая процветала и даже расширяла свои владения, стала научная фантастика. Ее журналы продолжали выходить, начался страшный бум – появились книжки в мягких обложках. До некоторой степени научно‑фантастическая литература умудрилась даже проникнуть на телевидение и в кино, хотя до великих побед еще было далеко.

А это означало, что в 1960–1970‑х годах молодые писатели пришли в научную фантастику не потому, что они очень хотели, а потому, что она уже существовала, и потому, что у них не было особого выбора. А еще это означало, что многие молодые писатели не имели ни малейшего представления о науке и не любили ее – скорее относились к ней враждебно. Такие писатели с готовностью восприняли идею страха из пары «любовь – страх», когда речь заходила об отношениях человека и машины.

В результате современная научная фантастика очень часто представляет нам – снова и снова – миф о ребенке, который занимает место своего отца, о Зевсе, который занимает место Кроноса, о Сатане, который занимает место Бога, о машине, которая занимает место человека.

Это самые настоящие ужасы, и их не следует читать.

Но позвольте мне в конце сделать свой собственный – достаточно циничный – комментарий. Хотя, как вы помните, Кронос предвидел, что его место может занять другой, и хотя он уничтожал своих детей, чтобы это предотвратить, его все равно заменил Зевс, причем по справедливости, поскольку был лучшим правителем.

Итак, может получиться, что, хотя мы будем ненавидеть машины и сражаться с ними, они все равно нас заменят, причем по справедливости, поскольку разумная машина, рожденная нами, вполне может оказаться лучше нас и будет упорно продвигаться вперед, стараясь понять вселенную и правильно ее использовать, и сумеет покорить вершины, недоступные нам.

 

Новая профессия

 

Давно, в 1940 году, я написал рассказ, в котором главную героиню звали Сьюзен Кэлвин. (Господи, это же полвека назад!) По профессии она была «робопсихологом» и знала о роботах все, что необходимо. Естественно, речь идет о научно‑фантастическом рассказе. В течение следующих нескольких лет я написал еще несколько историй про Сьюзен Кэлвин, которая – так я захотел – родилась в 1982 году, училась в Колумбийском университете, защитила диплом по роботехнике и закончила университет в 2003‑м. Она поступила в аспирантуру и к 2010 году работала в корпорации «Ю. С. Роботс энд мекэникл мен». Когда я сочинял эти рассказы, я относился к ним не слишком серьезно. Я писал «всего лишь» научную фантастику.

Однако, как ни странно, в жизни все получается именно так, как я тогда себе представлял. Роботы используются на конвейерах, и с каждым годом им находится все больше и больше применений. Машиностроительные компании десятками тысяч внедряют их у себя на заводах. Кроме того, роботы появляются и в других областях нашей жизни, и уж можете не сомневаться, более сложные и умные роботы скоро займут места у чертежных досок и в проектировочных мастерских. Естественно, благодаря роботам отпадет необходимость в некоторых видах деятельности, но и появятся новые профессии. Прежде всего, их нужно будет конструировать. Строить и устанавливать на рабочих местах. Затем, поскольку ничто не безупречно, их придется время от времени чинить. Чтобы такие ситуации возникали как можно реже, а поломки не носили серьезного характера, потребуется достаточно сложная система обслуживания. Вполне возможно, что робота даже придется переделывать, чтобы он в сложившейся ситуации мог выполнять другую работу.

Для этих целей нам понадобятся люди, которых мы будем называть… например, специалистами по роботам, роботехниками. Существует предположение, что к тому моменту, когда придуманная мной Сьюзен Кэлвин закончит колледж, только в Соединенных Штатах будет около двух миллионов таких специалистов и еще шесть миллионов в других странах мира. Так что Сьюзен не будет одиноко. К этим специалистам мы прибавим людей, которые будут работать в быстро развивающихся отраслях промышленности, прямо и косвенно связанных с производством роботов. Вполне может получиться, что благодаря появлению роботов количество рабочих мест значительно увеличится по сравнению с тем количеством, которое исчезнет. Впрочем, разумеется, эти работы будут сильно отличаться друг от друга, и потому потребуется некоторый переходный период для того, чтобы те, кто лишился своей старой работы, смогли переучиться, чтобы получить новую.

Это будет возможно не в каждом случае, и, следовательно, потребуется ввести некоторые изменения в систему социальной защиты населения, чтобы помочь тем, кто, в силу возраста или темперамента, не сможет приспособиться к изменившимся обстоятельствам.

В прошлом развитие технологий всегда требовало пересмотра системы образования. Крестьянам не требовалось знать грамоту, однако рабочим на заводах это было необходимо. И потому после промышленной революции индустриальным странам пришлось открыть государственные школы, где их граждане могли получить образование. В настоящий момент в связи с новым скачком в развитии экономики и высоких технологий необходимо внести изменения в программы общеобразовательных школ. К обучению науке и технике следует подходить очень серьезно и организовать его таким образом, чтобы люди могли постоянно учиться, поскольку изменения будут происходить с такой скоростью, что они просто не смогут существовать за счет знаний, приобретенных в молодости.

Подождите! Я упомянул роботехников, но этот термин можно принять лишь в широком смысле. Сьюзен Кэлвин не была таким специалистом: ее профессия называлась «робопсихолог». Она занималась «разумом» роботов, их «мыслительными процессами». Я еще ни разу не слышал, чтобы кто‑нибудь употребил этот термин в реальной жизни, но, полагаю, придет время, когда его станут использовать не реже, чем термин «роботехника» после того, как я его изобрел. В конце концов, ученые пытаются создать роботов, которые способны видеть, понимать устные приказы, отвечать. Поскольку предполагается, что роботы будут выполнять все больше и больше работ, причем их эффективность будет постоянно расти, а разнообразие задач станет необъятным, они начнут казаться нам «умными». По правде говоря, даже сейчас некоторые ученые очень серьезно работают над решением проблемы «искусственного интеллекта».

Впрочем, если нам и удастся сконструировать и построить роботов, которые будут казаться нам умными, весьма сомнительно, что их можно будет считать разумными в том смысле, в каком разумен человек. Во‑первых, их «мозг» сделан из материалов, отличающихся от тех, из которых «построен» наш мозг. Во‑вторых, их мозг будет состоять из различных компонентов, соединенных и систематизированных совсем не так, как у нас. К тому же почти наверняка робот станет подходить к проблеме, которую ему следует решить, совершенно иначе.

Разумность робота и человека могут настолько отличаться друг от друга, что на свет, вполне возможно, появится новая наука – «робопсихология». Вот тут‑то и придет время Сьюзен Кэлвин. Именно она и ее коллеги смогут разобраться в проблемах, решить которые обычные психологи будут не в силах. Эта область знаний может оказаться самой важной во всей роботехнике, поскольку, если мы сумеем детально изучить два совершенно разных интеллекта, возможно, мы научимся понимать, что такое интеллект в гораздо более фундаментальном и широком смысле, чем это возможно сейчас. И что самое главное, мы сумеем лучше понять, что представляет собой интеллект человека, а это практически невозможно сделать, изучая только его.

 

Робот как враг?

 

В 1942 году я изобрел Три закона роботехники. Самым важным из них является, естественно, Первый закон. Он гласит: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред». В своих рассказах я всегда старался подчеркнуть, что законы, особенно Первый, являются неотъемлемой частью робота, и он не может их нарушить.

Кроме того, я старался, хотя, возможно, и не так настойчиво, дать понять своим читателям, что эти законы не являются врожденными . Материал, из которого сделан робот, не содержит в себе этих законов. Они совершенно сознательно вносятся в мозг готового робота, иными словами, в компьютеры, которые контролируют его деятельность. Может так получиться, что какой‑то определенный робот окажется не наделен знанием Трех законов, поскольку его примитивная конструкция не позволяет внести в него поведенческие схемы, достаточно сложные, чтобы он был вынужден им подчиняться, или поскольку человек, который создает робота, решит сознательно не вносить в его мозг знание Трех законов.

Пока – и, возможно, так будет еще достаточно долго – мы имеем дело с первой причиной. Роботы слишком примитивны, чтобы предвидеть, что какой‑то их поступок может причинить вред человеку, и изменить свое поведение, чтобы этого не произошло. В настоящий момент у нас имеются лишь компьютеризированные устройства, которые способны выполнять набор определенных действий и не могут отойти в сторону от данных им инструкций. В результате роботы уже стали причиной смерти людей (как, впрочем, и обычные машины). Это ужасно, но вполне объяснимо, и мы можем предполагать, что по мере создания роботов с более сложной системой восприятия и способностью гибкого реагирования на изменение ситуации увеличится вероятность того, что в них будут внесены защитные блоки, эквивалентные Трем законам.

А как насчет второй альтернативы? Станут ли люди сознательно создавать роботов, не наделяя их знанием Законов роботехники? Боюсь, что такая возможность тоже существует. Уже идут разговоры о роботах‑охранниках. Роботы могут патрулировать какие‑нибудь территории или даже охранять вестибюли. В их задачу будет входить общение с людьми, которые появляются на данной территории или в здании. Вероятно, тот, кто имеет право войти или приглашен, получит карточку, идентифицирующую его личность, и тогда робот его пропустит. В наше время, когда столько внимания уделяется вопросам безопасности, такие идеи могут показаться вполне разумными, поскольку они явятся надежным способом борьбы с вандализмом и терроризмом, – получается, что робот будет выполнять роль дрессированной сторожевой собаки.

Однако стремление к безопасности порождает усложнение системы. Робот сумеет остановить непрошеного гостя, но сигнала тревоги может оказаться недостаточно. Людям захочется наделить его способностью изгнать посетителя, даже если при этом робот причинит ему вред – собака ведь тоже может укусить вас за ноги или перегрызть глотку. А что произойдет, если, например, глава фирмы забудет свою карточку в других брюках и, расстроившись, не успеет покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую территорию? Я подозреваю, что, если робот причинит вред человеку, который не имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат задание внести соответствующие изменения, чтобы ошибка не повторилась.

Рассмотрим другую крайность – разговоры об оружии. Компьютеризированные самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим упорством будут без устали сражаться с врагом. В качестве довода в защиту подобного оружия можно сказать, что таким образом мы сохраним жизнь солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим машинам воевать за нас. Если какие‑то из них будут уничтожены – ну, это же всего лишь машины. Такой подход к ведению военных действий может оказаться особенно полезным, если у вас такие машины есть, а у врага – нет.

Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все наше оружие контролируют руки и мозги людей, существует проблема «дружественного огня». Американское оружие может случайно убить американских солдат или гражданских людей, что нередко происходило в прошлом. Речь идет об ошибках, которые допускали люди, однако от этого не легче. А что, если наше роботизированное оружие откроет «дружественный огонь» и начнет уничтожать американцев или даже американскую собственность? Принять такое будет еще труднее (в особенности если враг разработает специальные стратегические мероприятия, направленные на то, чтобы сбить программы наших роботов и повернуть их огонь против нас). Нет, я уверен, что попытки применения роботов без специальных защитных систем провалятся и в конце концов мы все равно вернемся к Трем законам.

 

---

Дата добавления: 2018-09-23; просмотров: 99; Мы поможем в написании вашей работы!

Поделиться с друзьями:

---

---

Мы поможем в написании ваших работ!