АНБ считает пользователей Linux «экстремистами» Подробнее: http://www.cnews.ru/news/top/2016-07-08_vseh_polzovatelej_linux_nazvali_ekstremistami

Цитата: Superwad от 11.07.2016 13:39:48
Американские спецслужбы склонны считать всех пользователей Linux, а заодно и Tor, «экстремистами». Это следует из файлов системы тотального наблюдения за интернет-пользователями XKeyscore.

Цитата: Superwad от 11.07.2016 13:39:48

 

Цитата: Superwad от 11.07.2016 13:39:48
Пользователи Linux — «экстремисты»
Агентство национальной безопасности (АНБ) США называет «экстремистами» читателей журнала Linux Journal, а также пользователей Tor и Tails Linux, следует из файлов программного обеспечения XKeyscore, которое агенты используют для слежки за людьми, сообщает Techspot.
Амбициозный проект XKeyscore
О существовании XKeyscore в 2013 г. стало известно благодаря бывшему системному администратору АНБ Эдварду Сноудену (Edward Snowden). А недавно в распоряжении немецких телеканалов оказался исходный код этого решения.
XKeyscore представляет собой самый амбициозный проект АНБ для слежки за интернет-пользователями. Он включает карту интернета и набор аналитических инструментов, которые позволяют «узнавать практически все, что пользователь делает в сети». 
Автоматический перехват поисковых запросов
Но XKeyscore предлагает не только инструменты для проведения расследований. Ее автономные аналитические способности позволяют автоматически фиксировать пользователей, которые вводят в поисковой строке заданные слова и словосочетания. Среди них: tails, secure desktop, truecrypt, tor, linux, USB, CD, IRC и др.
В АНБ пользователей Linux объединяет одно слово - «экстремисты»
После того как пользователь вводит такой поисковый запрос, XKeyscore автоматически записывает его IP-адрес в базу данных. При этом речь идет не только об американских пользователях. Германский телеканал Das Erste после собственного расследования обнаружил два сервера в Германии, которые обслуживают систему. Авторы публикации утверждают, что XKeyscore следит за всеми пользователями интернета, во всем мире. 
«Экстремистская организация»
Помимо этого, XKeyscore контролирует все подключения к серверу, который обслуживает сервис анонимной электронной почты Лаборатории вычислительной техники и искусственного интеллекта при Массачусетском технологическом институте (CSAIL).
Наконец, XKeyscore отслеживает все посещения linuxjournal.com и записывает данные об этих посещениях. В файлах системы сообщество читателей Linux Journal называется «экстремистской организацией», пишет Das Erste.
Помимо linuxjournal.com, АНБ отслеживает посетителей privacy.li, FreeProxies.org, HotSpotShield, MegaProxy, FreeNet, Centurian,  MixMinion и других сайтов и сервисов, которые предназначены для анонимизации, скрытия своей личности и местонахождения. У системы XKeyscore много различных триггеров. 
Отрицание вины
В АНБ нарушение конституционных прав граждан как всегда опровергают. После публикации новых материалов представители организации напомнили, что они действуют в полном соответствии с законом. Они также прокомментировали информацию о XKeyscore. По их словам, данная система обладает встроенной многоуровневой технологией проверки соответствия требованиям действующих законов. Таким образом, она не может работать в обход законодательства.

Цитата: Superwad от 11.07.2016 13:39:48

 

• +0.01 / 3

Цитата: Поверонов от 12.07.2016 08:10:23Это косвенно свидетельствует о том что для Windows( Microsoft)  и Android ( Google)  у них всё схвачено на уровне конаструктивов OC, а вот Linux пока выпадает из "поля зрения" Впрочем возможно и целевое заманивание как например на Tor ( система разработанная и курируемая разведкой ВМС США ) по принципу "я их туда три года собирал".

Цитата: Поверонов от 12.07.2016 08:10:23

 

• -0.01 / 3

Цитата: Superwad от 12.07.2016 11:08:49Ну так я тоже подпадаю под это, так как стер "красиву, гламурную, правильную и глючную виндовс 8.1", которая лицензионная и поставил дочке на ноут "страшный, отдающий терроризмом" российский дистрибутив линукса А так да, согласен с Вами, вот кроме Андроида - код в большинстве своём открытий и там сложно протянуть "закладочки", тем более не дай бог им там появиться, Андроид падем смертью храбрых перед мобильной версией Линукса, так как тот только и ждет. чтобы выйти из запасного тоннеля. Это моё личное мнение.

Цитата: Superwad от 12.07.2016 11:08:49

 

• +0.00 / 0

Цитата: Superwad от 12.07.2016 11:08:49Ну так я тоже подпадаю под это, так как стер "красиву, гламурную, правильную и глючную виндовс 8.1", которая лицензионная и поставил дочке на ноут "страшный, отдающий терроризмом" российский дистрибутив линукса А так да, согласен с Вами, вот кроме Андроида - код в большинстве своём открытий и там сложно протянуть "закладочки", тем более не дай бог им там появиться, Андроид падем смертью храбрых перед мобильной версией Линукса, так как тот только и ждет. чтобы выйти из запасного тоннеля. Это моё личное мнение.

Цитата: Superwad от 12.07.2016 11:08:49

 

• +0.01 / 2

Цитата: Поверонов от 14.07.2016 09:07:50Открытость кода ОС не гарантирует отсутствие закладок. Во-первых мало кто сам компилирует себе код, все в основном используют скомпилированные дистрибуции. Во-вторых, даже имея код найти в нем закладку весьма непросто, она может гнездиться в протоколах, рассеянных по коду ядра, и исполняемых через утилиты или аппликации, входящие в минимальный дистрибутив - типа недокументированных свойств ОС.
Ежемесячно по всем ОС и продуктам публикуются дыры безопасности позволяющие удаленное исполнение кода. Но что-то не слышно чтоб от этих публикаций пострадал маркетинг этих ОС или продуктов - наоборот - публикуют значит "борются", что не мешает им патчить новые закладки.

Цитата: Поверонов от 14.07.2016 09:07:50

 

• +0.03 / 3

Цитата: Демонический кот от 14.07.2016 14:26:10Фактически гарантирует. Нет смысла делать закладки в открытом коде, который постоянно перелопачивают по всему миру сотни тысяч человек.
Кто-нибудь рано или поздно наткнется и начнет копать дальше. Закладка, как говорят люди военные, должна иметь гарантированное применение хотя бы один раз, иначе смысла в ней никакого. А какие тут могут быть гарантии?

Цитата: Демонический кот от 14.07.2016 14:26:10

 

Цитата: Демонический кот от 14.07.2016 14:26:10А если речь идет о государственных интересах, имея исходный код, систему выпотрошат и высушат вплоть до значений регистров. Сомнительные модули перепишут заново.
Дальше делается свой репозитарий и голова не болит. Что собственно, судя по последним новостям и сделала служба ФСИН по всей России.

Цитата: Демонический кот от 14.07.2016 14:26:10

 

• +0.00 / 0

Цитата: Hadan от 14.07.2016 19:15:111. Нет смысла делать тупые закладки. Логика, размазанная по проекту, фрагменты которой нигде от общего контекста не отличаются, практически не находится. И даже, будучи выявлена, классифицируется как уязвимость. Доказать злой умысел – не реально.
2. Если Вы проверили исходники – замечательно. Теперь отложите их в сторону и возьмитесь за исходники компилятора, библиотек, препроцессора, мейка и т.д. и т.п. Статью о внедрении закладок на этапе сборки бинарника, с примерами, я читал еще в прошлом веке.  Думаю, прогресс на месте не стоял.  
3. «гарантированное применение»? Это не про ИТ. Здесь кот Шрёдингера выглядывает из под каждой строчки.

Да? А я про любовь МВД к Ораклу слышал. Клевещут, наверно...)))

Цитата: Hadan от 14.07.2016 19:15:11

 

• +0.05 / 4

Цитата: Hadan от 14.07.2016 19:15:11
1. Нет смысла делать тупые закладки. Логика, размазанная по проекту, фрагменты которой нигде от общего контекста не отличаются, практически не находится. И даже, будучи выявлена, классифицируется как уязвимость. Доказать злой умысел – не реально.
2. Если Вы проверили исходники – замечательно. Теперь отложите их в сторону и возьмитесь за исходники компилятора, библиотек, препроцессора, мейка и т.д. и т.п. Статью о внедрении закладок на этапе сборки бинарника, с примерами, я читал еще в прошлом веке.  Думаю, прогресс на месте не стоял.  
3. «гарантированное применение»? Это не про ИТ. Здесь кот Шрёдингера выглядывает из под каждой строчки.


Да? А я про любовь МВД к Ораклу слышал. Клевещут, наверно...)))

Цитата: Hadan от 14.07.2016 19:15:11

 

• +0.00 / 0

Цитата: MB от 14.07.2016 23:49:32"Устроены так люди - желают знать, что будет.."(с) А.Пугачёва...

Иррациональная тяга к "пророчески-предсказательным" технологиям - это "в крови".
Назовите лучше, кто от этой любви - смог избавиться...
Желательно с конкретными примерами.

КМК, это не лёгкая задача.
Упрощу: озвучьте конструктивную, доступную на сегодня, альтернативу.

Цитата: MB от 14.07.2016 23:49:32

 

• -0.01 / 1

Цитата: Поверонов от 15.07.2016 08:46:26ORACLE - это сервер баз данных ( не только, но в основном ) Лицензии дорогие, поэтому официально используется только крупными фирмами и банками. Ведет свое происхождение от заказа баз данных ЦРУ.

Цитата: Поверонов от 15.07.2016 08:46:26

 

• -0.01 / 1

Цитата: Поверонов от 15.07.2016 08:46:26ORACLE - это сервер баз данных ( не только, но в основном ) Лицензии дорогие, поэтому официально используется только крупными фирмами и банками. Ведет свое происхождение от заказа баз данных ЦРУ.

Цитата: Поверонов от 15.07.2016 08:46:26

 

• +0.01 / 1

Цитата: pkdr от 15.07.2016 15:15:10Стек продукции Оракл - это намного больше, чем сервер БД.

Цитата: pkdr от 15.07.2016 15:15:10

 

• +0.00 / 0

Цитата: MB от 14.07.2016 23:49:32Упрощу: озвучьте конструктивную, доступную на сегодня, альтернативу.

Цитата: MB от 14.07.2016 23:49:32

 

• 0.00 / 2

Цитата: Hadan от 15.07.2016 09:56:07Вы спрашиваете, интересуетесь или это «спор без аргументов»?
Рекламой производителей топовых СУБД я заниматься не буду. Сходите на www.tpc.org
1.       Разброс производительности, между лидерами, минимален и, сильно  зависит от конкретной задачи.
2.       Разница СУБД тонет в производительности железа.
3.       Производительность СУБД и железа – мелкая пыль на фоне косяков разработчиков прикладной части.

Цитата: Hadan от 15.07.2016 09:56:07

 

• +0.00 / 0

Цитата: MB от 15.07.2016 10:22:10поставлю вопрос более узко: приведите мне реализованную у нас альтернативу в виде примера серьёзных высоконагруженных распределённых ИТ-систем класса mission- и business-critical, построенных без оракульных технологий.
кроме того, хотелось бы услышать про более-менее универсальный метод перевода всего имеющегося "лесо-зверо-зоопарка" на что-то более-менее схожее и при этом существенно менее затратное по ROI и TCO.

Цитата: MB от 15.07.2016 10:22:10

 

• -0.01 / 1

Цитата: slavae от 15.07.2016 11:51:48Ну, вообще, если бы оракул исчез как будто не было, я бы пробовал Firebird. К тому же там основные разработчики наши )

Цитата: slavae от 15.07.2016 11:51:48

 

• +0.02 / 2

Цитата: MB от 15.07.2016 12:15:49Вопрос в том, кто на себя возьмёт ответственность за:
- успешность миграции существующей корпоративной промышленной ит-системы с оракула на ту же огненную птичку?
- списание с основных средств "охренилиарда" рублей, потраченных на закупку лицензий и ТП?
- предоставление гарантий, что можно будет найти хоть какого-нить "козла отпущения", в случае серьёзного сбоя при эксплуатации (в предположении, что предыдущие пункты, включая саму миграцию - удастся порешать позитивно).

Цитата: MB от 15.07.2016 12:15:49

 

• +0.00 / 0

Цитата: Hadan от 15.07.2016 13:27:39Вот, в самую точку.
Гарант за бугром - очень удобно.

Цитата: Hadan от 15.07.2016 13:27:39

 

• +0.00 / 0

Цитата: MB от 15.07.2016 12:15:49ЕМНИП, там потолок - 32Тб, нет нативной репликации, стэндбая, распараллеливания запросов и много чего ещё.
могу ошибаться.
что-то из перечисленного в своё время видел как проприетарные (опять же) опции третих (зарубежных) компаний.

Тут много, что можно обсуждать по этой теме.
Вопрос в том, кто на себя возьмёт ответственность за:
- успешность миграции существующей корпоративной промышленной ит-системы с оракула на ту же огненную птичку?
- списание с основных средств "охренилиарда" рублей, потраченных на закупку лицензий и ТП?
- предоставление гарантий, что можно будет найти хоть какого-нить "козла отпущения", в случае серьёзного сбоя при эксплуатации (в предположении, что предыдущие пункты, включая саму миграцию - удастся порешать позитивно). Как правило, "те красноглазые парни с длинными волосами в растянутых свитерах" - успевают 100 раз поссориться со всеми по кругу и свинтить налево, где "начальство - прогрессивное, а не такое тупое и консервативное, как здесь - не дают под Новый Год новый релиз ОС на корпоративный сервак накатить"...
И кому, скажите, тогда "предъявлять"? Ни официального представительства, ни круглосуточной службы ТП, ни внятного адреса dev-team'а - ничего нет.

ширшее тут надо смотреть...

PS
скажу сразу, внятного конструктива - в башке не имею.
потому и спрашиваю. именно спрашиваю, а не наезжаю.

PPS
иррациональной любови к оракулу - не испытываю, ежели чо.

Цитата: MB от 15.07.2016 12:15:49

 

• +0.01 / 2

Цитата: pkdr от 15.07.2016 15:19:46Вы хотя бы лицензионное соглашение Оракла почитали бы, по поводу гарантий.
И для хорошо известных опенсорс-продуктов существуют компании, осуществляющие платную поддержку, вот они гарантии дают. И у них качество поддержки намного лучше, так как оракл продаёт право на использование их продукта, компания же, осуществляющая поддержку опенсорс-продукта продаёт именно поддержку продукта.

Цитата: pkdr от 15.07.2016 15:19:46

 

• +0.01 / 1

Цитата: pkdr от 15.07.2016 15:19:46Вы хотя бы лицензионное соглашение Оракла почитали бы, по поводу гарантий.
И для хорошо известных опенсорс-продуктов существуют компании, осуществляющие платную поддержку, вот они гарантии дают. И у них качество поддержки намного лучше, так как оракл продаёт право на использование их продукта, компания же, осуществляющая поддержку опенсорс-продукта продаёт именно поддержку продукта.

Цитата: pkdr от 15.07.2016 15:19:46

 

• +0.00 / 0

Цитата: Hadan от 15.07.2016 16:41:15Коммерческий проект заказчик волен делать, как хочет. Выбирать платформу и инструментарий полное его право. И западные решения, здесь оказываются вне конкуренции.
Но если мы говорим о гос-службах. Как вы себе представляете поддержку базы МО или МВД сторонней компанией? По идее, максимум, что им могут, это вынести в переговорную распечатку с фрагментом лога. Договор есть, а по факту все сами.
Далее. Гос-сектор, это очень не хилый сегмент рынка ПО.  Сейчас практически полностью занятый западными компаниями. Вся пляски СМИ вокруг НоуХау, ПобедПрогеров и т.д. – пар в свисток. Рынок где?
Не важно, опенсорс или нет. Нужна жесткая норма локализации ИТ сферы. Отдельно ПО, отдельно железо.  И резать эти нормы каждый год. Надо – заказывай разработку.

Цитата: Hadan от 15.07.2016 16:41:15

 

• +0.00 / 0

Цитата: MB от 15.07.2016 12:15:49ЕМНИП, там потолок - 32Тб, нет нативной репликации, стэндбая, распараллеливания запросов и много чего ещё.
могу ошибаться.
что-то из перечисленного в своё время видел как проприетарные (опять же) опции третих (зарубежных) компаний.

PS
скажу сразу, внятного конструктива - в башке не имею.
потому и спрашиваю. именно спрашиваю, а не наезжаю.

PPS
иррациональной любови к оракулу - не испытываю, ежели чо.

Цитата: MB от 15.07.2016 12:15:49

 

• +0.00 / 0

Цитата: Поверонов от 15.07.2016 22:34:13Тенденция всё держать в одном конструктиве нынче ушла. Требования к базам данным расслоились и они специализировались
- на транзакционные - opensourse : postgresSQL, mariadb+innodb ( ветвь mysql продолженная оригинальной группой разработчиков )
- документальные : mongodb, couchdb, cassandra
- кэши : мемсаche, kafka, cassandra
- timeseries : InfluxDB

Современная тенденция выглядит так что все источники данных пишут параллельно в транзакционную базу данных, из которой записи затем реплицируются по специализированным базам, которые масштабируются и дистрибутируются, чтобы обеспечить к ним быстрый доступ и чтение.
Параллельно данные архивируются в исторических базах откуда считываются медленно ( ибо сжаты ) но зато могут хранить терабайты.

Цитата: Поверонов от 15.07.2016 22:34:13

 

• +0.01 / 1

Цитата: MB от 16.07.2016 09:27:07вопросов больше не имею (с)

вообще-то я говорил про нагруженные (от 100К операций в минуту) БД, имеющими порядковые размеры - не Тб, а Птб.
Перечисленный Вами стек технологий - это "прикольное" Лего.
Вы лично - "впишитесь" в этот зоопарк, если Вам делегируют ответственность за ИТ Сбера, ЦБ, ФНС, ФТС и пр. ?

PS
а так да... образ Кассандры - мучил чресла мои ночами, в то далёкое время, когда я был в пубертате...

Цитата: MB от 16.07.2016 09:27:07

 

Цитата: Цитата• Any experience with Hadoop ecosystem and technologies such as Impala, hdfs, Kafka, Spark is required.
• 1+ years of experience working directly on PostgreSQL or Cassandra databases will be a plus

• -0.01 / 1

Цитата: Поверонов от 16.07.2016 10:36:42С "нагруженностью" борются применяя правильное железо ( типа RAM500G+SSD*N), масштабирование и патиционирование с дистрибуцией.
А зоопарк в основном возникает из-за разнородности типов данных. Если ваши данные однородны типа поток финансовых транзакций, то зоопарк может не потребоваться. Всякие "прикольные" базы применяются либо для ускорения специальных операций типа идентификации, или для быстрой выдачи длинных текстов (с чем не справляется даже и Оракл), либо для тиражирования однотипных ответов миллионам юзеров типа новости, котировки и т.п.
PS. А кассандру по делу применяют и большие монстры. Например крупнейшая биржа мира TheICE.com
New York Stock Exchange, Senior Database Administrator

Цитата: Поверонов от 16.07.2016 10:36:42

 

• +0.01 / 1

Цитата: Поверонов от 16.07.2016 10:36:42патиционирование с дистрибуцией

Цитата: Поверонов от 16.07.2016 10:36:42

 

• +0.00 / 0

Цитата: TAU от 17.07.2016 01:56:33Тьфу... Разделение и распределение.

Цитата: TAU от 17.07.2016 01:56:33

 

• +0.00 / 0

Цитата: slavae от 15.07.2016 11:51:48Ну, вообще, если бы оракул исчез как будто не было, я бы пробовал Firebird. К тому же там основные разработчики наши )

Цитата: slavae от 15.07.2016 11:51:48

 

• +0.00 / 0

Цитата: pkdr от 15.07.2016 15:20:26Ну так есть Percona - тоже наши, при этом они реально довели mysql до ума.

Цитата: pkdr от 15.07.2016 15:20:26

 

• +0.00 / 0

Цитата: MB от 15.07.2016 10:22:10я не спорю ни с кем, но и посылать меня на три буквы в доменной зоне .org - тоже не надо.
априори мы обсуждаем альтернативы проприетарного импортного ПО - супротив СПО (которое не перестаёт принадлежать при этом зарубежным компаниям) и отечественных разработок.

поставлю вопрос более узко: приведите мне реализованную у нас альтернативу в виде примера серьёзных высоконагруженных распределённых ИТ-систем класса mission- и business-critical, построенных без оракульных технологий.
кроме того, хотелось бы услышать про более-менее универсальный метод перевода всего имеющегося "лесо-зверо-зоопарка" на что-то более-менее схожее и при этом существенно менее затратное по ROI и TCO.

Цитата: MB от 15.07.2016 10:22:10

 

• -0.01 / 1

Цитата: pkdr от 15.07.2016 15:14:00Ну я реализовывал серьёзную высоконагруженную ИТ-систему mission- и business-critical, построенную без оракловских технологий. Из пары сотен серверов может разве пяток был с купленным ПО, да и то в них критичного ничего не было. Всё остальное ПО было опенсорс - линукс, постгри, мускул, кассандра, апач и т. д.

Цитата: pkdr от 15.07.2016 15:14:00

 

• +0.00 / 0

Цитата: Демонический кот от 14.07.2016 14:26:10Фактически гарантирует. Нет смысла делать закладки в открытом коде, который постоянно перелопачивают по всему миру сотни тысяч человек.

Цитата: Демонический кот от 14.07.2016 14:26:10

 

• +0.02 / 1

Цитата: Alexxey от 14.07.2016 21:22:40Теоретически, как бы да. Но как его "перелопачивают" на практике, наглядно показала знаменитая Heartbleed. Баг, внесённый в начале 2012-го обнаружили к середине 2014-го. Да ещё какой баг. Уязвимыми к тому моменту оказались что-то там под 70% сервисов, где был OpenSSL.

Цитата: Alexxey от 14.07.2016 21:22:40

 

• +0.00 / 0

Цитата: Поверонов от 14.07.2016 21:57:09Замечу что не слышно о случаях массового отказа от openSSL в связи с этим случаем. Все проглотили и продолжают использовать openSSL, хотя об этом случае было широко известно - с ним столкнулся так или иначе каждый пользователь интернета.

Цитата: Поверонов от 14.07.2016 21:57:09

 

• +0.03 / 2

Цитата: Alexxey от 14.07.2016 22:11:11Речь не о случае как таковом, а о пресловутом качестве испекции открытого кода. Глупейший баг был перед глазами "сотен тысяч разработчиков", его никто специально не прятал, но увидели его только через 2,5 года.

Цитата: Alexxey от 14.07.2016 22:11:11

 

• +0.01 / 1

Цитата: pkdr от 15.07.2016 15:05:18Ну вот увидели же. А была бы это проприетарь с закрытым кодом - до сих пор бы баг оставался.

Цитата: pkdr от 15.07.2016 15:05:18

 

• +0.02 / 1

Цитата: Superwad от 12.07.2016 11:08:49Ну так я тоже подпадаю под это, так как стер "красиву, гламурную, правильную и глючную виндовс 8.1", которая лицензионная и поставил дочке на ноут "страшный, отдающий терроризмом" российский дистрибутив линукса А так да, согласен с Вами, вот кроме Андроида - код в большинстве своём открытий и там сложно протянуть "закладочки", тем более не дай бог им там появиться, Андроид падем смертью храбрых перед мобильной версией Линукса, так как тот только и ждет. чтобы выйти из запасного тоннеля. Это моё личное мнение.

Цитата: Superwad от 12.07.2016 11:08:49

 

• +0.00 / 0