?

Log in

No account? Create an account
Про NSA и этику - Олег Етеревский [entries|archive|friends|userinfo]
Oleg Eterevsky

[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Про NSA и этику [13 September 2013|10:19]
Oleg Eterevsky
На фоне истории с NSA я сформулировал для себя вопрос, на который у меня нет однозначного ответа. Вопрос такой:

Предположим, NSA удаётся создать AI agent (программу, использующую технологии искуственного интеллекта), умеющую определять письма, которые с вероятностью, скажем, 30% написаны настоящими террористами, готовящими теракт. Этичным ли будет пропускать через него весь трафик, до которого возможно дотянуться, с тем условием, что до живых сотрудников NSA дойдут только отфильтрованные им письма вероятных террористов?

С одной стороны, да, пожалуй, это допустимо, если публика будет об этом знать. Но проблема в том, что если публика знает, то и террористы знают и незащищёнными каналами пользоваться не будут. С другой стороны, встраивать backdoors в криптографические стандарты — это конечно не дело. Возможен ли тут компромис, который, с одной стороны, позволял эффективно работать подобной службе, а с другой — не включал бы в себя совсем уж неэтичные действия?

Кстати, такой AI agent — это совсем не научная фантастика, а почти реальность. Я где-то читал, что британская, кажется, полиция, с помощью data mining генерирует списки подозреваемых в терроризме размером в единицы, максимум десятки людей.
LinkReply

Comments:
[User Picture]From: vse_budet
2013-09-13 07:00 am (UTC)
Но проблема в том, что если публика знает, то и террористы знают и незащищёнными каналами пользоваться не будут.
Я когда об этом думал решил, что единственная надежда на относительно этичное/законное решение зиждится на том, что менеджерам террористов нужно откуда-то пополнять запас террористов, и это сегодня можно эффективно делать только через Twitter, Facebook etc -- т.е. не нужно встраивать backdoor в алгоритмы, нужно просто надеяться/сделать так, что основными площадками будут оставаться те, с кем NSA договорилось.

Edited at 2013-09-13 07:01 am (UTC)
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 07:06 am (UTC)
То есть ловить террористов на стадии вербовки, когда они ещё не перешли на защищённые каналы? Можно, но эффективность будет значительно ниже.
(Reply) (Parent) (Thread)
[User Picture]From: vse_budet
2013-09-13 07:15 am (UTC)
Ну так скорее всего не удастся встроить backdoor'ы всюду. Видно рано или поздно появятся удобные open source шифровальщики, тот же OpenPGP интегрируют в браузер поудобнее и эффективность от попыток перехвата защищенного трафика станет равна 0. Если только не удастся убедить всех добросовестных людей не пользоваться криптографией чтобы на их фоне шифрующиеся террористы автоматически выглядели подозрительно.
(Reply) (Parent) (Thread) (Expand)
[User Picture]From: tseymour
2013-09-13 08:35 am (UTC)
Я согласен - террористы и так знают, что траффик так или иначе просматривается. Сколько бы правительства не говорили о том, что они этого не делают, перлюстрационные службы появились не вчера и так просто они не исчезнут, а эпизомы со Сноуденом или другие, аналогичные, всплывают далеко не первый и не последний раз.

Вопросы этики здесь несколько иные - тут противостояние "спасти жизни людей" против "получить неудовольствие граждан от того, что кто-то читает их почту".

И вопрос, насколько я его вижу, все же не в том, стоит ли пытаться предотвращать преступления, сколько в том, насколько дотошно пытаться их предотвращать. Здесь можно сделать отсылку к антиутопиям типа "Особого мнения" или проекту европейского закона о штрафах за превышение скорости на основе данных GPS-навигаторов.

Вопрос в том, где та грань, через которую нельзя переступать, дабы люди не теряли ощущения свободы воли. Ведь не все в мире имеют характеристику Lowful Good, а даже те, кто имеют, все равно ошибаются и хотели бы сохранить свои тайны о прошлых ошибках в прошлом, без виляния на будущее.

Тут я хочу вспомнить того же Эрика Шмидта: "If you're nervous about someone knowing you did something bad, why would you do it in the first place?". К слову, по опыту работы, Гуглу я доверяю сейчас намного сильнее, чем доверял до того, как там работал - просто видя, как именно происходит работа с пользовательскими данными, которые неизбежно доступны для чтения людьми, однако все равно обрабатываются только в агрегированном или обезличенном виде.

В итоге - я не против того, чтобы сканирование производилось, но против того, чтобы предотвращение преступлений распространялось дальше чем на уголовный кодекс. Это если кратко. Развернутая версия ответа все же слишком противоречива :-)
(Reply) (Parent) (Thread) (Expand)
[User Picture]From: win32asm
2013-09-13 07:07 am (UTC)
как правильно говорит тов. Шнаер, вопрос фильтра - в false positives.

для 1к терроров на 10 млн чел. фильтр с эффективностью 1% заловит 990 терроров и 900к человек ни при чём.
даже при гарантии не более 0.001% false positive получаем 990 терроров и 900 человек - практически поровну.

Это, конечно, хороший старт для дальнейшего распределения ресурсов, но всё таки перебор.

И можно ли сделать фильтр без false positives? Я предполагаю, что нет.

ЗЫ. да, криптография с бекдорами это security through obscurity, что нехорошо.

Edited at 2013-09-13 07:08 am (UTC)
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 07:13 am (UTC)
Дык я же как раз говорил про систему всего с 70% false positives, пускай с меньшей чувствительностью. Это, вероятно, лучше чем то, что использует сейчас NSA, но на самом деле, не так уж далеко от наших нынешних возможностей.
(Reply) (Parent) (Thread) (Expand)
[User Picture]From: nikolenko
2013-09-13 07:26 am (UTC)
Как по мне, вопрос о том, к кому попадают носители информации, никакой этикой не покрывается и вообще не важен принципиально. Этически важно – что этот "кто-то" делает с этой информацией; собственно, можно философски небезосновательно заявить, что пока ничего не делают, это и не информация вовсе, а так, магнитные поля какой-то странной формы.

Соответственно, если бездушная машина обрабатывает поток по открытому общеизвестному алгоритму, никакой этической проблемы я вообще не вижу. Этические проблемы могут начаться только в том случае, если люди-сотрудники спецслужб захотят использовать свой доступ к этому потоку в каких-то недекларируемых целях. А это уже совершенно не связано с тем, каков официально "честный" алгоритм обработки потока.
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 08:32 am (UTC)
Я согласен. Проблема в том, что такая открытая перлюстрация трафика неэффективна, как раз потому, что о ней все знают.

Edited at 2013-09-13 08:33 am (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: nikolenko
2013-09-13 09:14 am (UTC)
Да ладно. Уже сейчас все (все, кому надо :) ) и так знают, что открыто передаваемую в интернете информацию можно перехватить. Ничего не изменится. Если система сейчас никого не ловит – то и не будет ловить, да; и наоборот.
(Reply) (Parent) (Thread)
[User Picture]From: lamantyn
2013-09-14 12:22 am (UTC)
> если бездушная машина обрабатывает поток по открытому общеизвестному алгоритму, никакой этической проблемы я вообще не вижу.

Бездущная машина обрабатывает поток и автоматически посылает рекламу.
Родители девушки подростка находят в почтовом ящике рекламу для беременных и офигевают ...

http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/
(Reply) (Parent) (Thread) (Expand)
[User Picture]From: lord_faramir
2013-09-13 08:46 am (UTC)
Основная проблема в том, что получив такой инструмент под лозунгом борьбы с террористами, его будут использовать не только по целевому назначению.

Та же разведка, сразу затребует доступ, а отсюда уже недалеко и до промышленного щпионажа, оправдываемого политическими интересами. Что, собственно и произошло в США. И произошло бы в любой другой стране, получившей такие возможности.
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 12:31 pm (UTC)
В принципе, при желании, можно это дело контроллировать. Ставить фильтры на стороне ISP / email-провайдера, и пересылать в NSA только отфильтрованные сообщения, к примеру. Но, как я уже сказал, дилемма в том, что если делать всё под общественным контролем, так чтобы не было злоупотреблений, то это во многом теряет смысл.
(Reply) (Parent) (Thread) (Expand)
[User Picture]From: amarao_san
2013-09-13 02:11 pm (UTC)
Предлагаю анархический подход: они сканируют, если могут, я шифруюсь, если могу. И мы друг другу не мешаем.
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 02:23 pm (UTC)
Ну как сказать. Определённые гарантии того, что твои данные онлайн будут непрекосновенны облегчают жизнь. Например, можно не особо раздумывая пользовать гмейлом.
(Reply) (Parent) (Thread)
[User Picture]From: amarao_san
2013-09-13 02:34 pm (UTC)
Гмылом можно пользоваться только для передачи временной или несущественной информации. Почему и с какой стати можно доверять гуглу, если он себя ведёт хуже майкрософта? Не говоря уже про "секретные суды".
(Reply) (Parent) (Thread)