?

Log in

No account? Create an account
Про NSA и этику - Олег Етеревский [entries|archive|friends|userinfo]
Oleg Eterevsky

[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Про NSA и этику [13 September 2013|10:19]
Oleg Eterevsky
На фоне истории с NSA я сформулировал для себя вопрос, на который у меня нет однозначного ответа. Вопрос такой:

Предположим, NSA удаётся создать AI agent (программу, использующую технологии искуственного интеллекта), умеющую определять письма, которые с вероятностью, скажем, 30% написаны настоящими террористами, готовящими теракт. Этичным ли будет пропускать через него весь трафик, до которого возможно дотянуться, с тем условием, что до живых сотрудников NSA дойдут только отфильтрованные им письма вероятных террористов?

С одной стороны, да, пожалуй, это допустимо, если публика будет об этом знать. Но проблема в том, что если публика знает, то и террористы знают и незащищёнными каналами пользоваться не будут. С другой стороны, встраивать backdoors в криптографические стандарты — это конечно не дело. Возможен ли тут компромис, который, с одной стороны, позволял эффективно работать подобной службе, а с другой — не включал бы в себя совсем уж неэтичные действия?

Кстати, такой AI agent — это совсем не научная фантастика, а почти реальность. Я где-то читал, что британская, кажется, полиция, с помощью data mining генерирует списки подозреваемых в терроризме размером в единицы, максимум десятки людей.
LinkReply

Comments:
[User Picture]From: vse_budet
2013-09-13 07:00 am (UTC)
Но проблема в том, что если публика знает, то и террористы знают и незащищёнными каналами пользоваться не будут.
Я когда об этом думал решил, что единственная надежда на относительно этичное/законное решение зиждится на том, что менеджерам террористов нужно откуда-то пополнять запас террористов, и это сегодня можно эффективно делать только через Twitter, Facebook etc -- т.е. не нужно встраивать backdoor в алгоритмы, нужно просто надеяться/сделать так, что основными площадками будут оставаться те, с кем NSA договорилось.

Edited at 2013-09-13 07:01 am (UTC)
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 07:06 am (UTC)
То есть ловить террористов на стадии вербовки, когда они ещё не перешли на защищённые каналы? Можно, но эффективность будет значительно ниже.
(Reply) (Parent) (Thread)
[User Picture]From: vse_budet
2013-09-13 07:15 am (UTC)
Ну так скорее всего не удастся встроить backdoor'ы всюду. Видно рано или поздно появятся удобные open source шифровальщики, тот же OpenPGP интегрируют в браузер поудобнее и эффективность от попыток перехвата защищенного трафика станет равна 0. Если только не удастся убедить всех добросовестных людей не пользоваться криптографией чтобы на их фоне шифрующиеся террористы автоматически выглядели подозрительно.
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2013-09-13 07:20 am (UTC)
Ммм... А чем OpenPGP лучше OpenSSL? И оно вообще применимо к веб-стандартам?
(Reply) (Parent) (Thread)
[User Picture]From: vse_budet
2013-09-13 07:30 am (UTC)
Я не разбираюсь в технологиях. OpenSSL -- это что-то про относительно безопасную связь с сервером же. А если я хочу передать тебе террористическую инструкцию типа оденьтесь свеже и на выставке в Манеже к вам приблизится мужчина с чемоданом., мне легче зашифровать ее обычным PGP, отправить тебе обычной почтой и вообще ни о чем не думать, разве нет?

Edited at 2013-09-13 07:31 am (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2013-09-13 08:30 am (UTC)
А. Я как раз не понимал, какое отношение имеет OpenPGP к браузеру.
(Reply) (Parent) (Thread)
[User Picture]From: tseymour
2013-09-13 08:35 am (UTC)
Я согласен - террористы и так знают, что траффик так или иначе просматривается. Сколько бы правительства не говорили о том, что они этого не делают, перлюстрационные службы появились не вчера и так просто они не исчезнут, а эпизомы со Сноуденом или другие, аналогичные, всплывают далеко не первый и не последний раз.

Вопросы этики здесь несколько иные - тут противостояние "спасти жизни людей" против "получить неудовольствие граждан от того, что кто-то читает их почту".

И вопрос, насколько я его вижу, все же не в том, стоит ли пытаться предотвращать преступления, сколько в том, насколько дотошно пытаться их предотвращать. Здесь можно сделать отсылку к антиутопиям типа "Особого мнения" или проекту европейского закона о штрафах за превышение скорости на основе данных GPS-навигаторов.

Вопрос в том, где та грань, через которую нельзя переступать, дабы люди не теряли ощущения свободы воли. Ведь не все в мире имеют характеристику Lowful Good, а даже те, кто имеют, все равно ошибаются и хотели бы сохранить свои тайны о прошлых ошибках в прошлом, без виляния на будущее.

Тут я хочу вспомнить того же Эрика Шмидта: "If you're nervous about someone knowing you did something bad, why would you do it in the first place?". К слову, по опыту работы, Гуглу я доверяю сейчас намного сильнее, чем доверял до того, как там работал - просто видя, как именно происходит работа с пользовательскими данными, которые неизбежно доступны для чтения людьми, однако все равно обрабатываются только в агрегированном или обезличенном виде.

В итоге - я не против того, чтобы сканирование производилось, но против того, чтобы предотвращение преступлений распространялось дальше чем на уголовный кодекс. Это если кратко. Развернутая версия ответа все же слишком противоречива :-)
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2013-09-13 11:46 am (UTC)
Во-первых, про Сноудена. Он дал информацию о том, в каком именно масштабе ведётся прослушка. Я не думаю, что террористы реально пользовались гмейлом, но вот рассчитывать на то, что не 100% трансатлантического трафика попадает в NSA, они могли.

Во-вторых, противопоставление тут не с "неудовольствием граждан", а с тем, что неограниченный доступ к частной информации допускает не только полезные применения. Слежка за подругами и промышленный шпионаж — это только два известных примера. Нельзя исключать ситуации, в которых эта информация будет использоваться, к примеру, для покрывательства коррупции или для противодействия оппозиции.

В-третьих, выбор между жизнями людей и чем-то ещё приходится совершать постоянно и далеко не всегда в пользу жизней. Ну вот к примеру, если запретить летать на самолётах старше 5 лет, это явно повысит безопасность и спасёт какое-то количество жизней. Но цена на авиабилеты при этом повысится в разы. Или можно установить ограничение скорости в городе 30 км/ч. Это спасёт десятки тысяч жизней в год. Но так не делают, потому что это повлечёт дополнительные расходы времени у все автомобилистов.
(Reply) (Parent) (Thread)
[User Picture]From: tseymour
2013-09-13 12:37 pm (UTC)
Да, именно поэтому я и дал ограничение на использование этих данных только и исключительно для предотвращения уголовных преступлений.
Понятно, при этом, что люди бывают очень разные и говорить с уверенностью что вот этот штат из 1000+ человек надежен и будет искать только указанную информацию - не приходится.
Но мы ведь говорим о гипотетической ситуации?
Ну и, заодно, о свершившемся факте - слежка все равно будет, потому что спец. службам так намного проще. Это всегда будет тайна и это всегда будет делаться. Вопрос, вновь повторюсь, в уровне усердия и морализаторства.
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2013-09-13 12:42 pm (UTC)
Вопрос в том, что мы позволим, а что нет. Как я написал в тексте поста, фильтрация открытым алгоритмом всех сообщений мне кажется приемлемой, а вот надавливание на корпорации, чтобы они делали тайные бэкдоры для NSA мне кажется неприемлемой.
(Reply) (Parent) (Thread)
[User Picture]From: tseymour
2013-09-13 01:45 pm (UTC)
Общество не позволяет террористам убивать людей.
Смысл дальнейших выкладок, я думаю тебе понятен ;-)

Что же касается открытых алгоритмов (кстати Гугл вполне себе правильно фильтрует почту на спам и важное), то они не дадут результатов, ты сам про это написал.

Т.ч. либо "на войне можно все", либо "высокая мораль важнее", увы.
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2013-09-13 01:47 pm (UTC)
Как я уже писал, всё не так просто. Вопрос в том, как это сделать правильно. Мне, например, кажется, что система в которой сотрудники будут иметь доступ к любым сырым имейлам неправильна.
(Reply) (Parent) (Thread)
[User Picture]From: tseymour
2013-09-13 03:11 pm (UTC)
У нас с тобой классический спор, где участники изначально согласны друг с другом: "К слову, по опыту работы, Гуглу я доверяю сейчас намного сильнее, чем доверял до того, как там работал - просто видя, как именно происходит работа с пользовательскими данными, которые неизбежно доступны для чтения людьми, однако все равно обрабатываются только в агрегированном или обезличенном виде."
(Reply) (Parent) (Thread)
[User Picture]From: lamantyn
2013-09-13 11:58 pm (UTC)
> проекту европейского закона о штрафах за превышение скорости на основе данных GPS-навигаторов

Можно просто встроить навигатор в машину и не давать разгоняться больше лимита. Как сейчас в 99% машин компьютер захлебывает двигатель на 120mph. И не надо будет никого штрафовать.

А вот отсылка к "Minority Report" весьма релевантна.
Те люди, которых называют террористами - на самом деле террористами не являются. А всего лишь могут стать при определенных обстоятельствах. Ну типа фбр'ский провокатор долго рассказывает о зверствах морпехов против мусульман и подсовывает фальшивую бомбу.


> knowing you did something bad

Высказывание г-на Шмидта не выдерживает никакой критики. Помимо уголовщины есть просто мелкие моральные грешки (ну там изменить супругу). Или персональная медицинская информация.
В госпитале "за посмотреть в истории болезни знаменитости" увольняют на месте.


> предотвращение преступлений распространялось

Предотвращение преступления не является задачей государства. Это уже было рассмотрено в высшем суде.

=== cut ===
There, the federal government was sued based on an allegation that the FAA and
the US Air Force failed to warn the pilot of KAL 007 that it had wandered into
Soviet airspace. The suit was dismissed, and the dismissal upheld on appeal.
The court reasoned that, regardless of whether either the FAA or US Air Force
could have saved the airliner by making a phone call, neither agency had a
legal duty to save the airliner.

Wyler highlights a strange but important point about governmental negligence:
just because the government is everywhere doesn't mean it has a duty to
everyone. The police, for example, cannot be sued for failing to prevent
crimes from occurring.
=== cut ===




(Reply) (Parent) (Thread)
[User Picture]From: tseymour
2013-09-14 12:31 am (UTC)
Невозможность превышения и запрет превышения - разные вещи. Иногда необходимо превысить для того, чтобы избежать аварии.

Особое мнение - да, но это именно антиутопия. Недавно была статья от наших ученых о необходимости заложения основ для нейроэтики - т.к. нейрофизиологи все больше узнают о предпосылках в ДНК и о других признаках дающих основания с большой уверенностью предполагать склонность к совершению преступлений и т.п. различными людьми, что, как раз, не является основанием для изоляции таких людей от общества - ведь предрасположенность еще не означает свершения.

Про предотвращение - не задача государства. Я не знаю насколько это правомерно в отношении России. Я не знаю насколько правдивы отчеты, но новости редко, но все же сообщают от предотвращении крупных терактов. Чему я все-таки рад.
Возможно в данном случае речь идет не о предотвращении преступлений, но о войне с террористами, а, значит, о превентивных ударах по противнику? При таком подходе, будет ли этика иной?
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2013-09-14 07:04 am (UTC)
> А вот отсылка к "Minority Report" весьма релевантна.
> Те люди, которых называют террористами - на самом деле террористами не являются. А всего лишь могут стать при определенных обстоятельствах. Ну типа фбр'ский провокатор долго рассказывает о зверствах морпехов против мусульман и подсовывает фальшивую бомбу.

Вопрос лишь в том, как правильно использовать информацию о том, что человек является потенциальным террористом. Следить за ним и переходить к активным действиям только в случае, если он действительно активно станет что-то делать -- может быть меньшим злом.

> Предотвращение преступления не является задачей государства. Это уже было рассмотрено в высшем суде.
> Высказывание г-на Шмидта не выдерживает никакой критики.

Высказывание Шмидта было не в том смысле, что мы не должны уважать прайвеси, а в том, что с развитием технологий становится всё сложнее и сложнее его охранять. Вот сейчас, скажем, кто угодно может написать распознавалку лиц и прокролить Фейсбук. Получится система, позволяющая распознавать лица незнакомых людей -- значительное нарушение приватности. Поэтому человеку сейчас просто глупо надеяться на то, что он может быть абсолютно анонимен и т. п., так что остаётся уповать на то, что если ты не делаешь ничего плохого, то тебе от этого ничего не будет.

> Предотвращение преступления не является задачей государства. Это уже было рассмотрено в высшем суде.

Секундочку. Это решение всего лишь говорит, что государственные институты по закону не могут быть осуждены за то, что они не предотвратили те или иные неприятности. Это совсем не значит, что это не является их задачей (и тем более, что они не имеют права это делать). Предотвращение преступлений _является_ задачей полиции.
(Reply) (Parent) (Thread)
[User Picture]From: win32asm
2013-09-13 07:07 am (UTC)
как правильно говорит тов. Шнаер, вопрос фильтра - в false positives.

для 1к терроров на 10 млн чел. фильтр с эффективностью 1% заловит 990 терроров и 900к человек ни при чём.
даже при гарантии не более 0.001% false positive получаем 990 терроров и 900 человек - практически поровну.

Это, конечно, хороший старт для дальнейшего распределения ресурсов, но всё таки перебор.

И можно ли сделать фильтр без false positives? Я предполагаю, что нет.

ЗЫ. да, криптография с бекдорами это security through obscurity, что нехорошо.

Edited at 2013-09-13 07:08 am (UTC)
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 07:13 am (UTC)
Дык я же как раз говорил про систему всего с 70% false positives, пускай с меньшей чувствительностью. Это, вероятно, лучше чем то, что использует сейчас NSA, но на самом деле, не так уж далеко от наших нынешних возможностей.
(Reply) (Parent) (Thread)
[User Picture]From: win32asm
2013-09-13 10:17 am (UTC)
ненене.
мне кажется, что мы не договорились о терминах 8-)

false negative - когда террор хорошо замаскировался и его не нашли. и это те самые 70% которые (100%-30%)х{терроры}
false positive - когда невиновного принимают за террора, и это должна быть отдельная вероятность, иначе в результирующей подборке фильтра соотношение терроров и невиновных сохранится.

и опять же, в силу того, что терроров на много порядков меньше, чем невиновных, любая фильтрующая система будет срабатывать на бешеном числе невиновных.

Возможно, у них есть несколько независимых экспертных систем, пересечение выходов которых позволяет как-то сгладить проблему.
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2013-09-13 11:51 am (UTC)
Я прекрасно понимаю, что имеется в виду. С самого начала я имел в виду фильтры с высоким specificity, то есть со сравнительно маленьким количеством false positive.
(Reply) (Parent) (Thread)
[User Picture]From: nikolenko
2013-09-13 07:26 am (UTC)
Как по мне, вопрос о том, к кому попадают носители информации, никакой этикой не покрывается и вообще не важен принципиально. Этически важно – что этот "кто-то" делает с этой информацией; собственно, можно философски небезосновательно заявить, что пока ничего не делают, это и не информация вовсе, а так, магнитные поля какой-то странной формы.

Соответственно, если бездушная машина обрабатывает поток по открытому общеизвестному алгоритму, никакой этической проблемы я вообще не вижу. Этические проблемы могут начаться только в том случае, если люди-сотрудники спецслужб захотят использовать свой доступ к этому потоку в каких-то недекларируемых целях. А это уже совершенно не связано с тем, каков официально "честный" алгоритм обработки потока.
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 08:32 am (UTC)
Я согласен. Проблема в том, что такая открытая перлюстрация трафика неэффективна, как раз потому, что о ней все знают.

Edited at 2013-09-13 08:33 am (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: nikolenko
2013-09-13 09:14 am (UTC)
Да ладно. Уже сейчас все (все, кому надо :) ) и так знают, что открыто передаваемую в интернете информацию можно перехватить. Ничего не изменится. Если система сейчас никого не ловит – то и не будет ловить, да; и наоборот.
(Reply) (Parent) (Thread)
[User Picture]From: lamantyn
2013-09-14 12:22 am (UTC)
> если бездушная машина обрабатывает поток по открытому общеизвестному алгоритму, никакой этической проблемы я вообще не вижу.

Бездущная машина обрабатывает поток и автоматически посылает рекламу.
Родители девушки подростка находят в почтовом ящике рекламу для беременных и офигевают ...

http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/
(Reply) (Parent) (Thread)
[User Picture]From: nikolenko
2013-09-14 04:21 am (UTC)
Меня об этом в сеопультовском интервью спрашивали. ;)
Заметим, что проблема здесь вовсе не в том, что рекомендации были порождены и отосланы девушке, а в том, что они попали не к адресату. Privacy было нарушено в незапланированном месте. В нашем контексте аналогом будут (реально существующие) случаи, когда человек с доступом к потоку решит проследить за своей женой.
(Reply) (Parent) (Thread)
[User Picture]From: lamantyn
2013-09-16 05:42 am (UTC)
Ну как раз в статье говорится что люди не любят шпионажа самого по себе.
Этот шпионаж воспринимается (причем достаточно обосновано) как охоту "тебя выбрали целью и ждут момента ударить".

=== cut ===
Then we started mixing in all these ads for things we knew pregnant women would never buy, so the baby ads looked random. We’d put an ad for a lawn mower next to diapers...
And we found out that as long as a pregnant woman thinks she hasn’t been spied on, she’ll use the coupons
=== cut ===

(Reply) (Parent) (Thread)
[User Picture]From: nikolenko
2013-09-16 09:22 am (UTC)
Мне кажется, это временный эффект, он быстро пройдёт. Поездов, автомобилей и пылесосов люди тоже поначалу боялись; а потом ничего, втянулись. Любая новая технология требует времени для того, чтобы люди привыкли и выработали «доверие».

Edited at 2013-09-16 09:23 am (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: lord_faramir
2013-09-13 08:46 am (UTC)
Основная проблема в том, что получив такой инструмент под лозунгом борьбы с террористами, его будут использовать не только по целевому назначению.

Та же разведка, сразу затребует доступ, а отсюда уже недалеко и до промышленного щпионажа, оправдываемого политическими интересами. Что, собственно и произошло в США. И произошло бы в любой другой стране, получившей такие возможности.
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 12:31 pm (UTC)
В принципе, при желании, можно это дело контроллировать. Ставить фильтры на стороне ISP / email-провайдера, и пересылать в NSA только отфильтрованные сообщения, к примеру. Но, как я уже сказал, дилемма в том, что если делать всё под общественным контролем, так чтобы не было злоупотреблений, то это во многом теряет смысл.
(Reply) (Parent) (Thread)
[User Picture]From: lord_faramir
2013-09-13 01:07 pm (UTC)
Какой такой общественный контроль )))

Если можно положить с беспилотника в чужой стране несколько десятков человек и сказать, что они были террористы, то уж читать чужую переписку и послать общественный контроль в задницу тоже не составит никаких проблем.

Закон силы в чистом виде - сколько раз уже такое было и все утирались.
И дальше будут.

Вот есть такая организация как ООН. Но если ее решения не устраивают, то на нее просто кладут болт.
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2013-09-13 01:10 pm (UTC)
Я не говорю про международную политику. Но вообще-то Ричард Никсон ушёл в отставку как раз из-за таких махинаций.
(Reply) (Parent) (Thread)
[User Picture]From: lord_faramir
2013-09-13 01:19 pm (UTC)
А Буши и Обама не ушли )

Такие системы, вместе с контролем за и-нетом от международной политики неотъемлемы и их закрытость и нужность всегда можно обосновать. Тем более, если декларировать, что читается иностранная переписка, а своя ни-ни, только по решению суда.

Вот президент Бразилии узнал, что его почту читали, повозмущался, попросил объяснений и утерся.



(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2013-09-13 01:25 pm (UTC)
Президента Бразилии никто не спрашивал. Нет никаких международных или национальных законов, которые бы запрещали разведку против иностранных правительств.

Справедливости ради, ни Буша, ни Обаму пока не уличили в использовании прослушки в личных целях. И сама её незаконность пока, формально говоря, остаётся под вопросом. Не говоря уже о том, что её, насколько я знаю, осуждает меньше половины американцев.

К тому же, история с NSA пока ещё далека от завершения. Что будет дальше, неясно.

Edited at 2013-09-13 01:25 pm (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: amarao_san
2013-09-13 02:11 pm (UTC)
Предлагаю анархический подход: они сканируют, если могут, я шифруюсь, если могу. И мы друг другу не мешаем.
(Reply) (Thread)
[User Picture]From: eterevsky
2013-09-13 02:23 pm (UTC)
Ну как сказать. Определённые гарантии того, что твои данные онлайн будут непрекосновенны облегчают жизнь. Например, можно не особо раздумывая пользовать гмейлом.
(Reply) (Parent) (Thread)
[User Picture]From: amarao_san
2013-09-13 02:34 pm (UTC)
Гмылом можно пользоваться только для передачи временной или несущественной информации. Почему и с какой стати можно доверять гуглу, если он себя ведёт хуже майкрософта? Не говоря уже про "секретные суды".
(Reply) (Parent) (Thread)