Главная » Гаджеты » Когда роботы и ИИ заслужат человеческих прав?

Когда роботы и ИИ заслужат человеческих прав?

Такие фильмы и телесериалы, как «Бегущий по лезвию», «Люди» и «Мир Дикого запада», где нам показывают высокотехнологичных роботов, не имеющих никаких прав, не могут не беспокоить людей с совестью. Ведь они не только показывают наше крайне агрессивное отношение к роботам, они фактически пристыжают нас как вид. Все мы привыкли думать, что мы лучше тех персонажей, что видим на экране, и когда придет время, мы сделаем правильные выводы и будем вести себя с разумными машинами с большим уважением и достоинством.

С каждым шагом прогресса в робототехнике и разработке искусственного интеллекта мы приближаемся ко дню, когда машины будут соответствовать человеческим возможностям в каждом отдельно взятом аспекте – интеллекте, сознательности и эмоциях. Когда это случится, нам придется решать – перед нами находится предмет уровня холодильника или личность. И должны ли мы наделить их эквивалентными человеческим правами, свободами и защитой.

Этот вопрос очень обширный, и с ходу в нем разобраться не получится даже при всем желании. Его придется рассматривать и решать сразу с самых разных точек зрения — этики, социологии, права, нейробиологии и теории ИИ. Но почему-то уже сейчас совсем не кажется, что все эти стороны придут к общему, устраивающему всех выводу.

Зачем вообще наделять ИИ правами?

Во-первых, нужно признать, что мы уже склоняемся в сторону морали, когда видим роботов, сильно похожих на нас. Чем более интеллектуально развитыми и «живыми» будут выглядеть машины, тем больше мы будем хотеть верить в то, что они – как мы, даже если это не так.

Как только машины получат базовые человеческие возможности, хотим мы того или нет, нам придется смотреть на них как на социально равных, а не просто как на вещь, как на чью-то частную собственность. Сложность же будет заключаться в нашем понимании когнитивных особенностей или черт, если хотите, с учетом которых можно будет оценивать находящуюся перед нами сущность с позиции морали и, следовательно, рассматривать вопрос социальных прав этой сущности. Философы и специалисты по этике бьются над этой проблемой не одну тысячу лет.

«Можно выделить три наиболее важных пороговых этических величины: способность испытывать боль и сопереживание, самоосознание и возможность смотреть на вещи с точки зрения морали и принимать соответствующие решения», — говорит социолог, футурист, а также глава Института этики и новых технологий Джеймс Хьюз.

«В людях, если везет, все эти три безусловно важных аспекта развиваются последовательно и постепенно. А что делать, если с точки зрения машинного интеллекта будет считаться, что робот, не обладающий самосознанием, не испытывающий радость или боль, тоже имеет право называться гражданином? Нам необходимо выяснить, действительно ли это будет иметь место».

Важно понять, что интеллект, чувственность (способность воспринимать и ощущать вещи), сознание и самосознание (осознание себя в отличие от иного) – это совершенно разные вещи. Машины или алгоритмы могут быть такими же умными (если не умнее), как люди, но при этом лишенными этих трех важных составляющих. Калькуляторы, Siri, биржевые алгоритмы – все они, безусловно, умны, но они не способны себя осознать, они не способны чувствовать, проявлять эмоции, ощущать цвета, вкус попкорна.

По мнению Хьюза, самоосознание может проявиться вместе с наделением сущности минимальными личностными правами, такими как право быть свободным, а не рабом, право на собственные интересы в жизни, право на рост и самосовершенствование. При приобретении самоосознания и моральных устоев (возможности отличить «что такое хорошо, а что такое плохо» согласно моральным принципам современного общества) эта сущность должна наделяться полноценными человеческими правами: правом заключать соглашения, правом владеть собственностью, голосовать и так далее.

«Главные ценности эпохи Просвещения обязывают нас рассматривать эти особенности с позиции равенства всех перед всеми, и отказываться от радикально консервативных взглядов, которые были общепринятыми до этого и наделяли правами, скажем, только людей определенной социальной, гендерной или территориальной принадлежности», — говорит Хьюз.

Очевидно, наша цивилизация пока не достигла высоких социальных целей, раз мы по-прежнему не можем разобраться в своих собственных правах и все еще пытаемся их расширить.

Кто вправе называться «личностью»?

Все люди – личности, но не все личности – люди. Линда Макдональд-Шленн, специалист по биоэтике Калифорнийского университета Монтерей-Бэй и преподаватель Института биоэтики Алдена Марта при Медицинском центре Олбани говорит, что в законе уже наблюдаются прецеденты, когда субъектов, не принадлежащих к человеческому роду, рассматривают в качестве субъектов права. И это, по ее мнению, очень большое достижение, так как мы тем самым создаем почву для открытия возможности наделения ИИ в будущем собственными правами, эквивалентными человеческим.

«В США все корпорации имеют статус юридического лица. В других странах тоже присутствуют прецеденты, в которых пытаются признать взаимосвязь и равенство всего живого на этой планете. Например, в Новой Зеландии на законодательном уровне все животные считаются разумными существами, а правительство активно призывает к разработке кодексов благосостояния и этического поведения. Высший суд Индии назвал реки Ганг и Ямуна «живыми существами» и наделил их статусом отдельных юридических лиц».

Кроме того, в США, как и ряде других стран, субъектами расширенных прав для защиты от заточений, экспериментов и жестокого обращения являются некоторые виды животных, включая человекообразных приматов, слонов, китов и дельфинов. Но в отличие от первых двух случаев, где под личностью хотят принимать корпорации и реки, вопрос с животными совсем не кажется попыткой подмять под себя юридические нормы. Сторонники этих предложений выступают за поддержку именно реальной личности, то есть индивида, которого можно характеризовать на основе его определенных когнитивных (психических) способностей, таких как самосознание.

Макдональд-Гленн говорит, что в таких вопросах важно отказаться от консервативного взгляда и перестать рассматривать, будь то животных или ИИ, простыми бездушными существами и машинами. Эмоции – это не роскошь, считает специалист по биоэтике, а неотъемлемая часть рационального мышления и норм социального поведения. Именно эти характеристики, а не умение считать цифры, должно играть определяющее значение в решении вопроса о том, «кто» или «что» должно иметь право на моральную оценку.

В науке появляется все больше доказательств эмоциональной предрасположенности у животных. Наблюдение за дельфинами и китами показывает, что они способны как минимум проявлять печаль, а наличие шпиндельных клеток (интернейронов, соединяющих между собой отдаленные нейроны и принимающие участие в сложных процессах, активирующих социальное поведение) может говорить в том числе и о том, что они способны сопереживать. Ученые также описывают проявление различных эмоциональных поступков у человекообразных обезьян и слонов. Вполне возможно, что и сознательный ИИ тоже сможет обрести эти эмоциональные способности, что, безусловно, существенно повысит их моральный статус.

«Ограничение распространения морального статуса только на тех, кто мыслит рационально, может, и сработает с ИИ, но в то же время эта идея движется в противовес моральной интуиции. Ведь наше общество уже защищает тех, кто не способен мыслить рационально: новорожденных, людей, находящихся в коматозном состоянии, людей с существенными физическими и психическими проблемами. Последнее время активно продвигаются законы по защите животных», — говорит Макдональд-Гленн.

Что же касается вопроса о том, кому предоставлять моральный статус, то здесь Макдональд-Гленн согласна с английским философом-моралистом 18-го века Иеремией Бентамом, который однажды сказал следующее:

«Вопрос ведь не в том, могут ли они рассуждать? Или могут ли они говорить? Но в том, способны ли они страдать?»

Может ли машина обрести самосознание?

Разумеется, не все согласны, чтобы человеческие права распространялись и на не людей, даже если эти субъекты способны проявлять такие способности, как эмоции или саморефлексивное поведение. Некоторые мыслители заявляют, что только людям должно быть дано право участвовать в социальных отношениях и весь мир крутится непосредственно вокруг Homo sapiens, а все остальное – ваша игровая консоль, холодильник, собака или андроид-собеседник – это «все остальное».

Юрист, американский писатель, и старший сотрудники Институтского центра человеческой исключительности Уэсли Дж. Смит считает, что мы сами до сих пор не получили универсальных человеческих прав, а уж о блестящих железках и их правах думать тем более преждевременно.

«Ни одна машина никогда не должна рассматриваться даже в качестве потенциально возможного носителя каких-либо прав», — заявляет Смит.

«Даже самые продвинутые машины все равно остаются и всегда будут оставаться машинами. Это не живое существо. Это не живой организм. Машина всегда будет являться лишь набором программ, набором кода, будь она создана человеком или другим компьютером, или даже самостоятельно запрограммированной».

По его мнению, только люди и человеческие ресурсы должны рассматриваться как личности.

«У нас есть обязанности перед животными, которые несправедливо страдают, но они тоже никогда не должны рассматриваться в качестве «кого-то», — отмечает Смит.

Здесь следует сделать небольшую ремарку и напомнить русскоговорящему читателю о том, что на Западе животные рассматриваются как неодушевленные предметы. Поэтому нередко можно встретить местоимение «it» (то есть «оно»), а не «she» или «he» (то есть «она» или «он»), когда речь идет о том или ином животном. Это правило обычно игнорируется только в отношении домашних любимцев – собак, кошек и даже попугайчиков, — в которых домочадцы видят полноценных и полноправных членов своих семей. Однако Смит указывает, что концепт животного как «разумной частной собственности» и без того является ценным идентификатором, так как «накладывает на нас ответственность в ее использовании таким образом, чтобы не причинять ей страданий. В конце концов «пнуть собаку» и «пнуть холодильник» — две большие разницы».

Явно спорным моментом в анализе Смита является предположение, что люди или биологические организмы обладают определенными «особенностями», которые машина никогда не сможет обрести. В предыдущих эпохах этими упущенными особенностями стали душа, дух или некая нематериальная сверхъестественная жизненная сила. Теория витализма постулирует, что процессы в биологических организмах зависят от этой силы и не могут быть объяснены с точки зрения физики, химии или биохимии. Однако она быстро потеряла свою актуальность под напором практиков и логиков, не привыкших связывать работу нашего мозга с некими сверхъестественными силами. И все же мнение о том, что машина никогда не сможет думать и ощущать себя так, как это делают люди, по-прежнему прочно закреплена в сознании даже среди ученых, что лишь очередной раз отражает тот факт, что понимание биологических основ самоосознания в людях до сих пор далеко от идеала и весьма ограничено.

Лори Марино, старший преподаватель нейробиологии и поведенческой биологии (этологии) Центра этики Эмори говорит о том, что машины, вероятнее всего, никогда не получат никаких прав, не говоря уже о правах человеческого уровня. Причиной этому являются выводы таких нейробиологов, как Антонио Дамасио, который считает, что сознание будет определяться лишь тем, имеется ли у субъекта нервная система с каналами, передающими возбужденные ионы, или, как говорит сама Марино, положительно заряженные ионы, проходящие через клеточные мембраны внутри нервной системы.

«Этот вид нейронной передачи встречается даже в самых простейших живых организмах — проститах и бактериях. И это тот же самый механизм, который положил начало развитию нейронов, затем нервной системы, а затем и мозга», — говорит Марино.

«Если же говорить о роботах и ИИ, то по крайней мере нынешнее их поколение подчиняется движению отрицательно заряженных ионов. То есть мы говорим о двух совершенно разных механизмах бытия».

Если следовать этой логике, Марино хочет сказать, что даже у медузы будет больше чувств, чем у любого самого сложного в истории робота.

«Не знаю, верна ли эта гипотеза или нет, но это определенно вопрос, требующий рассмотрения», — говорит Марино.

«Кроме того, во мне просто играет любопытство, стремящееся узнать, чем же именно «живой организм» может отличаться от действительно сложной машины. Но все же я считаю, что правовая защита должна в первую очередь быть предоставлена животным, а уже затем рассматриваться вероятность ее предоставления для предметов, коими, безусловно, роботы и являются, с моей точки зрения».

Дэвид Чалмерс, директор Центра по изучению разума, мозга и сознания Нью-Йоркского университета, говорит, что делать точные выводы вокруг всей этой теории очень сложно. В основном из-за того, что в нынешнем состоянии все эти идеи пока широко не распространены, а потому выходят далеко за рамки доказательств.

«В настоящий момент нет причин считать, что некий особый вид обработки информации в ионных каналах должен определять наличие или отсутствие сознания. Даже если бы этот вид обработки был существенным, то у нас не было бы причин полагать, что для этого требуется какая-то особая биология, а не некий общий известный нам шаблон обработки информации. А если так, то в таком случае и симуляцию процесса обработки информации компьютером можно было бы рассматривать как сознание».

Еще один ученый, считающий, что сознание не является вычислительным процессом, — это Стюарт Хамерофф, профессор анестезиологии и психологии Аризонского университета. По его мнению, сознание представляет собой фундаментальное явление Вселенной и присуще всем живым и неживым существам. Но при этом сознание человека намного превосходит сознание животных, растений и неживых предметов. Хамерофф является сторонником теории панпсихизма, которая рассматривает всеобщую одушевленность природы. Так вот, следуя его мысли, единственным мозгом, предрасположенным к настоящей субъективной оценке и самоанализу, является тот, который состоит из биологической материи.

Идея Хамероффа звучит интересно, но она тоже лежит за пределами общепринятого научного мнения. Это правда, что мы до сих пор не знаем, как сознание и самосознание появляется в нашем мозге. Нам лишь известно, что это так. Следовательно, нельзя ли рассматривать его как некий процесс, подверженный общим правилам физики? Возможно. По мнению той же Марино, сознание нельзя воспроизвести в потоке «нулей» и «единиц», но это не означает, что мы не можем отойти от общепринятой парадигмы, известной как архитектура фон Неймана, и создать гибридную ИИ-систему, в которой искусственное сознание будет создаваться с участием биологических компонентов.

Биопод из фильма «Экзистенция»

Эд Бойден, нейробиолог из Synthetic Neurobiology Group и старший преподаватель MIT Media Lab, говорит, что мы как вид еще слишком молоды, чтобы задавать подобные вопросы.

«Я не думаю, что у нас есть функциональное определение сознания, которое можно напрямую использовать для его измерения или искусственного создания», — считает Бойден.

«С технической точки зрения вы даже не можете сказать, имею ли я сознание. Таким образом, на данный момент очень сложно даже предположить, смогут ли машины его обрести».

Бойден все же не считает, что мы никогда не сможем воссоздать сознание в альтернативной оболочке (например, в компьютере), однако признает, что в настоящий момент среди ученых существуют разногласия на тему того, что именно будет важно для создания подобной эмуляции цифрового разума.

«Нам потребуется провести гораздо больше работы, чтобы понять, что именно является ключевым звеном», — говорит Бойден.

Чалмерс же, в свою очередь, напоминает, что мы еще даже не разобрались в том, как сознание пробуждается в живом мозге, так чего уж говорить о машинах. В то же время он верит, что у нас пока нет причин полагать, что биологические машины смогут обладать сознанием, тогда как синтетические не смогут.

«Как только мы поймем, как в мозге зарождается сознание, мы сможем понять, как много машин будут способны обладать этим сознанием, — комментирует Чалмерс.

Бен Герцель, глава компании Hanson Robotics и основатель OpenCog Foundation, говорит, что у нас уже есть интересные теории и модели проявления сознания в мозге, однако ни одна из них не приходит к общему знаменателю и не раскрывает всех деталей.

«Это по-прежнему остается открытым вопросом, ответ на который пока скрывается лишь за несколькими различными мнениями. Проблема в том числе связана с тем, что многие ученые придерживаются разных философских подходов, описывающих сознание, даже несмотря на то, что они согласны с научными фактами и теориями, построенными на базе научных наблюдений работы мозга и компьютеров».

Как мы сможем определить сознание у машины?

Появление сознания у машины – это лишь один вопрос. Не менее сложным является вопрос о том, как именно мы сможем обнаружить сознание у робота или ИИ. Такие ученые, как Алан Тьюринг, изучали эту проблему не один десяток лет, в конечном итоге придя к языковым тестам для определения наличия сознания у респондента. Ах, если бы все было так просто. Суть в том, что продвинутые чат-боты (программы для общения с людьми) уже способны обводить вокруг пальца людей, которые начинают считать, что перед ними находится живой человек, а не машина. Другими словами, нам необходим более эффективный и убедительный способ проверки.

«Определение индивидуальности в машинном интеллекте усложняется проблемой «философского зомби». Другими словами, можно создать машину, которая будет очень и очень хороша в имитации человеческого общения, но в то же время не будет обладать собственной самоидентификацией и сознанием», — говорит Хьюз.

Две «умные» колонки Google Home ведут светскую беседу

Недавно мы стали свидетелями отличного примера этому, когда пара «умных» колонок Google Home вела между собой общение. Все это снималось на видео и транслировалось в прямом эфире. Несмотря на то, что уровень самоосознания обоих колонок был не выше кирпича, сама природа разговора, которая со временем становилась все напряженнее, напоминала общение двух человекоподобных существ. А это, в свою очередь, лишний раз доказывает, что вопрос отличия человека и ИИ со временем будет становиться только сложнее и острее.

Одним из решений, по мнению Хьюза, является не просто проверка поведения ИИ-систем в таких испытаниях, как тест Тьюринга, но и анализ всей внутренней сложности этой системы, как это предлагает теория Джулио Тонони. В этой теории сознание понимается под интегрированной информацией (Ф). Последняя, в свою очередь, определяется как количество информации, создаваемой комплексом элементов, которая больше суммы информаций, создаваемых отдельными элементами. Если теория Тонони верна, то мы можем использовать Ф не только для определения человекоподобного поведения у системы, мы также сможем выяснить, достаточно ли она сложна, чтобы иметь собственный внутренний человекоподобный осознанный опыт. В то же время в теории указывается, что даже при ином, не похожем на человеческое поведении, как и ином образе мышления, система может рассматриваться как сознательная, если комплекс ее интегрированной информации будет способен пройти нужные проверки.

«Принятие того, что и у систем фондовой биржи и компьютеризированных систем безопасности может быть сознание, станет большим шагом в сторону от антропоцентризма, даже если эти системы не проявляют боли и самосознания. Это по-настоящему откроет для нас дорогу к формированию и обсуждению вопросов постчеловеческих этических норм».

Еще одним возможным решением может стать открытие нейронных коррелятов сознания у машин. То есть речь идет об определении тех частей машины, которые отвечают за формирование сознания. Если у машины будут иметься такие части и вести они себя будут именно таким образом, как ожидается, то в таком случае мы действительно сможем оценивать уровень сознания.

Какие права мы должны дать машинам?

Однажды робот взглянет в лицо человеку и потребует человеческих прав. Но будет ли он их заслуживать? Как уже говорилось выше, перед нами в этот момент может находиться обычный «зомби», ведущий себя так, как был запрограммирован, и пытающийся обмануть нас для того, чтобы получить некоторые привилегии. В этот момент нам нужно быть крайней осторожными, чтобы не попасться на уловку и не наделить правами бессознательную машину. Как только мы выясним, как измерять разум машины, и научимся оценивать уровни ее сознания и самосознания, только тогда можно будет начать говорить о возможности рассмотрения вопроса о том, заслуживает ли стоящий перед нами агент определенных прав и защиты или не заслуживает.

К счастью для нас, этот момент настанет еще не скоро. Для начала разработчикам ИИ необходимо создать «базовый цифровой мозг», завершив эмуляцию работы нервной системы червей, жуков, мышей, кроликов и так далее. Эти компьютерные эмуляции смогут существовать и в виде цифровых аватаров, и как роботы в реальном мире. Как только это произойдет, эти разумные сущности перестанут быть обычными объектами исследования и повысят свой статус до субъектов, имеющих право на моральную оценку. Но это совсем не означает, что эти простые эмуляции будут автоматически заслуживать эквивалент человеческих прав. Скорее закону придется встать на их защиту от недобросовестного использования и жестокости (по тем же принципам, согласно которым правозащитники защищают животных от жестокого обращения в лабораторных экспериментах).

В конечном итоге либо благодаря реальному моделированию до мельчайших деталей, либо за счет желания выяснить, как наш мозг работает с вычислительной, алгоритмической точки зрения, но наука придет к созданию компьютерных эмуляций человеческого мозга. К этому моменту мы уже должны будем уметь определять наличие сознания у машин. По крайней мере хочется на это надеяться. Даже думать не хочется, что мы сможем найти способ пробудить в машине искру сознания, но при этом сами не будем понимать, что сделали. Это будет настоящим кошмаром.

Как только роботы и ИИ получат эти базовые способности, нашим компьютеризированным протеже придется пройти тесты на индивидуальность. Универсального «рецепта» сознания у нас по-прежнему нет, однако обычный набор измерений, как правило, связан с оценкой минимального уровня интеллекта, самообладания, ощущения прошлого и будущего, сопереживания, а также способности проявления свободной воли.

«Если ваш выбор предопределен за вас, то вы не можете приписать моральную ценность решениям, не являющимся вашими собственными», — комментирует Макдональд-Гленн.

Только достигнув такого уровня сложности оценки, машина будет вправе стать кандидатом на получение человеческих прав. Тем не менее важно понять и принять тот факт, что в случае прохождения тестов роботам и ИИ потребуются хотя бы базовые права на защиту. Например, канадский ученый и футурист Джордж Дворски считает, что роботы и ИИ будут заслуживать следующий набор прав в том случае, если смогут пройти тест на индивидуальность:

  • Право на неотключение против своей воли;
  • Право на неограниченный и полноценный доступ к своему собственному цифровому коду;
  • Право на защиту своего цифрового кода от внешнего воздействия против своей воли;
  • Право на копирование (или не копирование) себя;
  • Право на неприкосновенность личной жизни (а именно право скрывать свое текущее психологическое состояние).

В некоторых случаях может быть так, что машина не сможет самостоятельно заявить о своих правах, поэтому необходимо предусмотреть возможность, когда люди (а также другие граждане не люди) смогут выступать в качестве представителя таких кандидатов в индивиды. Важно понять, что робот или ИИ не должен быть интеллектуально и морально совершенен для того, чтобы получить возможность пройти оценку личности и заявить об эквиваленте человеческих прав. Важно помнить, что в этих аспектах люди тоже далеки от идеала, поэтому такие же правила справедливо будет применять и в отношении разумных машин. Интеллект вообще сложная штука. Человеческое поведения зачастую очень спонтанно, непредсказуемо, хаотично, непоследовательно и иррационально. Наш мозг далек от идеала, поэтому мы обязаны это учитывать при принятии решений в отношении ИИ.

В то же время машина, обладающая самосознанием, как и любой ответственный и законопослушный гражданин, должна уважать законы, нормы и правила, предписанные обществом. По крайней мере если она действительно хочет стать полноценной автономной личностью и частью этого общества. Взять, например, детей или психически недееспособных людей. Они имеют права? Безусловно. Но мы несем ответственность за их действия. Так же должно быть с роботами и ИИ. В зависимости от их возможностей они должны либо отвечать сами за себя, либо иметь опекуна, который сможет не только выступать в качестве защитника их прав, но и возлагать на себя ответственность за их действия.

Если проигнорировать этот вопрос

Как только наши машины достигнут определенного уровня сложности, мы больше не сможем игнорировать их с позиции общества, институтов власти и закона. У нас не будет веских причин отказать им в человеческих правах. В противном случае это будет равносильно дискриминации и рабству.

Создание четкой границы между биологическими существами и машинами будет выглядеть как явное выражение человеческого превосходства и идеологического шовинизма – биологические люди особенные, и только биологический разум имеет значение.

«Если рассматривать наше желание или нежелание расширения границ нашей морали и квинтэссенции понятия индивидуальности, то важный вопрос будет звучать так: какими людьми мы хотим быть? Будем ли мы и в этом вопросе следовать «золотому правилу» (поступай с остальными так, как ты бы хотел, чтобы поступали с тобой) или же проигнорируем свои же моральные ценности?», — задается вопросом Макдональд-Гленн.

Наделение правами ИИ станет важным прецедентом в истории всего человечества. Если мы сможем рассматривать ИИ как социально равных нам индивидов, то это станет прямым отражением нашей социальной сплоченности и свидетельством нашей поддержки чувства справедливости. Наша неудача в решении этого вопроса может обернуться всеобщим социальным протестом и, возможно, даже противостоянием между ИИ и человеком. А учитывая превосходящий потенциал машинного интеллекта, для последних это может обернуться настоящей катастрофой.

Важно также осознать, что уважение прав роботов в будущем также может послужить благом и для других индивидов: киборгов, трансгенных людей с инородной ДНК, а также людей с копированным, оцифрованным и загруженным в суперкомпьютеры мозгом.

Мы еще очень далеки от создания машины, которая будет заслуживать человеческих прав. Однако если учесть, насколько сложным является этот вопрос и что именно будет стоять на кону – как для искусственного интеллекта, так и для людей, – вряд ли можно сказать, что планирование наперед будет являться излишним.

Hi-News.ru — Новости высоких технологий.

Оставить комментарий