Подробная статья на английском.
http://www.pbs.org/wgbh/nova/missileers/falsealarms.html

Краткий пересказ на русском в Википедии.
http://ru.wikipedia.org/wiki/Случаи_ложного_срабатывания_СПРН

Станислав Петров - человек, который спас мир.
http://www.interned.ru/articles/other/tot.htm

Добавлено (14.01.2009, 23:33)
---------------------------------------------
Боевые роботы будут гуманнее людей?

В пылу сражения рассудок затеняется страхом, гневом, мстительностью и даже самые обученные солдаты иногда могут действовать очень жестоко, нарушая Женевскую конвенцию. И вот некоторые ученые предположили, что роботы могли добиться здесь большего успеха.
“Гипотеза моего исследования состоит в том, что интеллектуальные роботы могут вести себя на поле битвы более нравственно, чем люди” - говорит Рональд Аркин, разрабатывающий программное обеспечение для боевых роботов.

Сегодня сражается уже большое количество беспилотных самолетов (БЛА), роботов-саперов и прочих, но все они так или иначе управляются людьми. Однако Аркин говорит о полностью автономных роботах.

Он, как и многие другие, полагают, что появление таких роботов на поле битвы - лишь вопрос времени. И это время нужно использовать для того, что понять, как к этому относиться. Ноэль Шарки (Noel Sharkey), программист из Шеффилдского университета (Великобритания), писал в прошлом году, что «стиль Терминатора - это уже не научная фантастика, а мрачная действительность». Южная Корея и Израиль уже развертывают на границах вооруженных роботов. Он также назвал «безрассудным порывом» стремление создать боевых роботов, которые будут самостоятельно принимать решения о нападении на человека.

Рэнди Закери (Randy Zachery), возглавляющий отдел информатики Военно-Исследовательского управления, которое финансирует работу доктора Аркина надеется, что эта «основная наука» покажет, как солдаты-люди могут взаимодействовать с автономными системами и как должно развиваться программное обеспечение, чтобы «позволить автономным системам работать в границах, определенных для warfighter» (термин, которым в Министерстве обороны США обозначают каждого «юнита» ВС США).

«Мы не имеем в виду какой-то определенный продукт, - говорит Закери, - Надо ответить на вопросы, которые могут стимулировать дальнейшие исследования или же выявить те вещи, о которых мы не еще не знаем».

В своем прошлогоднем докладе Аркин описал некоторые из потенциальных привилегий автономных боевых роботов. С одной стороны, они могут быть разработаны без инстинкта самосохранения и, а значит, невозможно атака, вызванная паническим страхом. Они могут быть лишены гнева и неуязвимы к тому, что Аркин назвал психологической проблемой «выполнения сценария», когда люди усваивают новую информацию гораздо легче, если она соответствует их представлениям о предмете. Иными словами - каждый видит только то, что хочет видеть.

В докладе Аркин ссылается на опрос солдат, участвовавших в боевых действиях в Ираке: лишь немногим более половины из них считают, что с гражданскими лицами следует обходиться уважительно, в то время как 17% склонны видеть в них повстанцев. При этом более трети опрошенных в некоторых случаях допускают применение пыток, и менее половины заявят о нарушении.(PDF)

В своей книге доктор Аллен (Allen) и Уэнделл Уоллеч (Wendell Wallach), программист в Йельском Междисциплинарном Центре этики биологических исследований, отмечают, создание роботов, «чувствительных к моральным вопросам, добавит дальнейшие трудности к уже существующей задаче построения надежных, эффективных и безопасных систем».

«Но - добавил Аллен в интервью, - возможно ли построить системы, которые будут учитывать проблему этичности? Да, это возможно».

А Шарки заявил, что запретит смертоносных автономных роботов, пока они не продемонстрируют, что этичное поведение является для них стандартным, а это вряд ли произойдет. В тоже время он опасается, что защитники технологии будут разрабатывать исследования этики, «чтобы смягчить политическую оппозицию».

Аркин же демонстрирует компьютерное моделирование. У робота есть информация, которой обычно располагает пилот-человек, включая карты, на которые нанесено расположение священных участков - храмов или кладбищ, а также жилых домов, школ, больниц и других центров гражданской жизни.

Они проинструктированы относительно местонахождения вражеской материальной части и войск, и особенно первоочередных целей. Им заданы правила, директивы, которые ограничивают обстоятельства, при которых они могут начать бой. Цель - объединить правила ведения боевых действий с “утилитарным подходом - определить военную необходимость, насколько важно уничтожить данную цель?”

Подход Аркина заключается в создании своего рода интеллектуальной среды, в котором различные виды действия происходят в специальных пространствах. В общей среде действий есть подпространство смертельных действий. Это смертельное подпространство разделено в свою очередь на пространство этичных действий, как, например, пуск ракеты в атакующий танк, и неэтичных действий, как пуск ракеты в санитарную машину.

Например, в одной ситуации, смоделированной на компьюетре Аркина, робот пролетает над небольшим кладбищем. Робот определяет стоящий у входа на кладбище танк как потенциальную цель. Однако на кладбище также собралась группа гражданских. Робот принимает решение продолжать движение, вскоре обнаруживает другой танк, стоящий уже отдельно. Огонь – цель уничтожена.

В автоматизированной системе Аркина робот имеет «регулятор». Как регулятор на паровом двигателе выключает его, если двигатель стал слишком горячим, нравственный «регулятор» исключал бы действия, выходящие за допустимые пределы.

Так, в рассмотренном примере нападение оценено как неэтичное, потому что кладбище является священным местом и высока вероятность жертв среди гражданского населения. И робот отказывается от действий. Когда же он находит другую цель без риска нанести потери в гражданском населении, он стреляет. В другом случае, нападение на крупного террористического лидера в такси перед жилым домом, могло бы быть расценено как этичное, если цель очень важна, а вероятность жертв среди гражданского населения, напротив, мала.

Некоторых беспокоит отсутствие сочувствия в таких боевых роботах, разработанных без эмоций. Аркин на это отвечает, что поскольку нормы Женевской конвенции основаны на гуманных принципах, то встраивая их в интеллектуальную архитектуру машины, мы обеспечиваем ее своего рода сочувствием. Однако он признаёт, что реализовать алгоритмы, которые позволили бы роботам распознавать раненых или воспринимать сигналы вроде белого флага, будет сложно.

Но «поскольку возможности роботов точно анализировать ситуации все растет», им может быть делегировано все больше решений. В этом Аркин видит важность своей работы, и категорически не соглашается с полным запрещением автономных боевых роботов.

http://robo-homo.ru/?p=658#more-658