IT в России и мире в реалиях мирового кризиса

1,268,166 7,776
 

basilevs
 
russia
Санкт-Путинбург
Слушатель
Карма: +236.65
Регистрация: 31.10.2008
Сообщений: 6,402
Читатели: 7
Цитата: Podli от 02.01.2023 15:13:20Пользуем базёнки MySQL на 10+ терабайт данных и 10 000+ запросов в секунду. Работают, ломаются только вместе с железом, поднимаются после смерти хоста через ...дцать минут на реплике. Чего такого волшебного нам какой-нить другой скуль могёт предложить?


Давайте я вам отвечу как человек, работавший ещё с Oracle 7.4.

Современное железо позволяет достигать невиданных ранее TPS не то что на MySQL, а даже на SQLite и H2. Особенно если это выборки по 1-2 таблицам.

Современные оптимизаторы запросов, вкупе с кэшами данных на многие гигабайты - позволяют и более сложные запросы неплохо гонять. Тот же опенсорсный Postgre этим и славен. Сегодня не надо мучиться, разнося на разные зеркала HDD данные разных таблиц и от сложных выборок - SSD рулят.

Но вот чего опенсорсные СУБД не умеют и не предназначены - это серьёзная кластеризация (простые кластера в опенсорсной Postgre есть), инструменты мониторинга, механизмы разрешения блокировок и т.д. То есть вот все эти механизмы географически разнесённых кластеров, разрешения конфликтов репликаций, избегания мутации данных длинной большой выборки в курсоре и т.д. и т.п. - вот это и есть то, что отличает современную серьёзную промышленную СУБД от опенсорсной.

И когда речь идёт о системе 24/7, работающей под большой нагрузкой не только на чтение, но и на запись, стоимость дневного простоя которой исчисляется десятками и сотнями миллионами рублей - вот там эти СУБД и живут. И заменять их на MySQL ни один человек в здравом уме не будет.
  • +0.12 / 7
basilevs
 
russia
Санкт-Путинбург
Слушатель
Карма: +236.65
Регистрация: 31.10.2008
Сообщений: 6,402
Читатели: 7
Цитата: adolfus от 02.01.2023 19:20:49А что касается сертификации, то это просто способ на ровном месте рубить бабло и делиться с сертификаторами – просматривай себе чужой код, да переводи каменты, особо не вникая в суть.
Обновления же тоже нужно сертифицировать, не так ли?

Нет. Процесс регистрации в Минцифре очень далёк от сертификации. Намного более простой процесс.
  • +0.00 / 0
BapBap
 
Слушатель
Карма: +0.31
Регистрация: 09.10.2008
Сообщений: 118
Читатели: 0
Цитата: basilevs от 02.01.2023 20:15:10Но вот чего опенсорсные СУБД не умеют и не предназначены - это серьёзная кластеризация (простые кластера в опенсорсной Postgre есть)

  Как оцените PostgresPro в этом аспекте?
  • +0.01 / 1
basilevs
 
russia
Санкт-Путинбург
Слушатель
Карма: +236.65
Регистрация: 31.10.2008
Сообщений: 6,402
Читатели: 7
Цитата: BapBap от 02.01.2023 21:30:39Как оцените PostgresPro в этом аспекте?


Можно ставить даже в банке. Очень достойно.

Если смотрите не из чистого любопытства - выбирайте из Postgres Pro и Pangolin. И сравнивайте, кто какой ценник на ядро и на поддержку выкатит. И какие плюшки по отказоустойчивости наобещают. Они все совместимы по языку запросов с обычной опенсорсной Postgre. Так как от неё все происходят.
  • +0.01 / 1
adolfus
 
Слушатель
Карма: +21.87
Регистрация: 12.02.2010
Сообщений: 11,201
Читатели: 2
Цитата: basilevs от 02.01.2023 21:53:04Можно ставить даже в банке. Очень достойно.

Если смотрите не из чистого любопытства - выбирайте из Postgres Pro и Pangolin. И сравнивайте, кто какой ценник на ядро и на поддержку выкатит. И какие плюшки по отказоустойчивости наобещают. Они все совместимы по языку запросов с обычной опенсорсной Postgre. Так как от неё все происходят.

Что вы понимаете под термином "ядро" у RDBMS? src/backend? Вы хотите сказать, что Postgres Pro и Pangolin – форки?
  • +0.00 / 0
basilevs
 
russia
Санкт-Путинбург
Слушатель
Карма: +236.65
Регистрация: 31.10.2008
Сообщений: 6,402
Читатели: 7
Цитата: adolfus от 03.01.2023 00:22:21Что вы понимаете под термином "ядро" у RDBMS? src/backend? Вы хотите сказать, что Postgres Pro и Pangolin – форки?


Да. Причём СберТех этого и не скрывает, а даже наоборот. Да и авторы Postgre, которые российские, сделали отдельный коммерческий форк Pro и ведут его параллельно с опенсорсным. И тоже этого не скрывают ни от кого.
  • +0.05 / 3
adolfus
 
Слушатель
Карма: +21.87
Регистрация: 12.02.2010
Сообщений: 11,201
Читатели: 2
Цитата: basilevs от 03.01.2023 18:17:22Да. Причём СберТех этого и не скрывает, а даже наоборот. Да и авторы Postgre, которые российские, сделали отдельный коммерческий форк Pro и ведут его параллельно с опенсорсным. И тоже этого не скрывают ни от кого.

Но исходники не показывают. Так?
  • +0.00 / 0
Oleg K.
 
russia
Москва
39 лет
Слушатель
Карма: +14.41
Регистрация: 28.12.2011
Сообщений: 1,372
Читатели: 1
Цитата: adolfus от 04.01.2023 02:05:36Но исходники не показывают. Так?

У PostgreSQL лицензия BSD - у сделанных на его основе программ исходники публиковать не обязательно.
То, что PostgresPro публикуют часть (наверное, большую) или даже все свои доработки - это просто у руководства компании такая позиция.

У Сбера (Pangolin) про его доработки по сравнению с базовой версией есть несколько статей. В том числе и на официальном сайте - https://docs.sberclo…tures.html, но вроде как они её только у себя в облаке продают - дистрибутив скачать и поставить на свои сервера не получится...
Имхо - доработки там в основном про безопасность, а остальное и так в этой базе данных есть.

Лично я для своих проектов использую "ванильный" постгрес - который идет в используемом дистрибутиве Linux. Дешево и сердито. А инструменты бекапа и репликации для "домашних проектов" в нем вполне себе достаточные.
Отредактировано: Oleg K. - 04 янв 2023 02:38:19
  • +0.04 / 6
ivan2
 
russia
Санкт-Петербург
63 года
Слушатель
Карма: +8.60
Регистрация: 16.11.2008
Сообщений: 8,834
Читатели: 1
Цитата: Oleg K. от 04.01.2023 02:37:49У PostgreSQL лицензия BSD - у сделанных на его основе программ исходники публиковать не обязательно.
То, что PostgresPro публикуют часть (наверное, большую) или даже все свои доработки - это просто у руководства компании такая позиция.

У Сбера (Pangolin) про его доработки по сравнению с базовой версией есть несколько статей. В том числе и на официальном сайте - https://docs.sberclo…tures.html, но вроде как они её только у себя в облаке продают - дистрибутив скачать и поставить на свои сервера не получится...
Имхо - доработки там в основном про безопасность, а остальное и так в этой базе данных есть.

Лично я для своих проектов использую "ванильный" постгрес - который идет в используемом дистрибутиве Linux. Дешево и сердито. А инструменты бекапа и репликации для "домашних проектов" в нем вполне себе достаточные.

Что значит Публиковать?
Публиковать где?
Представить по требованию - понимаю. Но публиковать...
Нам нужен мир!
Желательно весь.
  • +0.00 / 0
adolfus
 
Слушатель
Карма: +21.87
Регистрация: 12.02.2010
Сообщений: 11,201
Читатели: 2
Цитата: ivan2 от 04.01.2023 02:56:14Что значит Публиковать?
Публиковать где?
Представить по требованию - понимаю. Но публиковать...

Именно. Что я могу требовать и вообще зачем мне исходники, если я установил уже кем-то собранное ПО и оно работает?
Прежде всего исходники нужны, чтобы сконфигурировать сборку под свою платформу. Это в некоторых случаях может увеличить производительность и безопасность. Например, некоторые процессоры поддерживают арифметику с фиксированной точкой и целочисленную арифметику с длиной аппаратного слова 256 и более бит, что увеличивает производительность операций над денежными типами в разы. Если процессор аппаратно поддерживает криптографию, использование этой возможности серьезно повышает безопасность криптографических вычислений. Некоторые платформы поддерживают реальный генератор случайных чисел, работающий от той батарейки, от которой работают часы. Чтобы это все задействовать, нужно ПО собирать из исходников. Либо договариваться поставщику ПО с производителями железа, что не всегда получается даже у микрософт.
  • +0.02 / 2
Oleg K.
 
russia
Москва
39 лет
Слушатель
Карма: +14.41
Регистрация: 28.12.2011
Сообщений: 1,372
Читатели: 1
Цитата: ivan2 от 04.01.2023 02:56:14Что значит Публиковать?
Публиковать где?
Представить по требованию - понимаю. Но публиковать...

Ну обычно исходники публикуются прямо рядом с собранными дистрибутивами. То есть можно скачать как работающую программу, так и исходный код к ней. В случае Linux - здесь уже много вариаций в зависимости от дистрибутива (где-то создаются отдельные пакеты с исходными кодами, где-то вообще все программы всегда заново собираются из исходников на компьютере при установке). То есть ничего такого особенного в "публикации" по сравнению с "предоставлением по требованию" нет.
  • +0.01 / 1
Oleg K.
 
russia
Москва
39 лет
Слушатель
Карма: +14.41
Регистрация: 28.12.2011
Сообщений: 1,372
Читатели: 1
Цитата: adolfus от 04.01.2023 10:09:48Именно. Что я могу требовать и вообще зачем мне исходники, если я установил уже кем-то собранное ПО и оно работает?

Ну про лицензию BSD я выше написал - производные программы от лицензированных по BSD библиотек и программ публиковать исходники не обязаны.
Цитата: adolfus от 04.01.2023 10:09:48Прежде всего исходники нужны, чтобы сконфигурировать сборку под свою платформу. Это в некоторых случаях может увеличить производительность и безопасность. Например, некоторые процессоры поддерживают арифметику с фиксированной точкой и целочисленную арифметику с длиной аппаратного слова 256 и более бит, что увеличивает производительность операций над денежными типами в разы.

Для таких случаев вы всегда можете создать свои типы данных и реализовать операции над ними. В том числе и на C с использованием данных возможностей процессора.
Цитата: adolfus от 04.01.2023 10:09:48Если процессор аппаратно поддерживает криптографию, использование этой возможности серьезно повышает безопасность криптографических вычислений. Некоторые платформы поддерживают реальный генератор случайных чисел, работающий от той батарейки, от которой работают часы. Чтобы это все задействовать, нужно ПО собирать из исходников. Либо договариваться поставщику ПО с производителями железа, что не всегда получается даже у микрософт.

В криптографических операциях на сервере (на оборудовании, к которому отсуствует физический доступ у злоумышленника) использование аппаратных команд процессора вместо подпрограмм не несет никакой дополнительной защиты. И при учете различных векторов атак идет на "десятом месте". А по поводу аппаратных генераторов случайных чисел - все серьезные платформы позволяют подключать "свой" источник - в виде подпрограммы, в виде специального файла или ещё как-нибудь. Не обязательно заново перестраивать весь дом, чтобы установить в нём кондиционер. Особенно, если под его трассы с фреоном даже отверстия в стенах предусмотрены, и на стенах крепеж уже висит.
  • +0.05 / 2
adolfus
 
Слушатель
Карма: +21.87
Регистрация: 12.02.2010
Сообщений: 11,201
Читатели: 2
Цитата: Oleg K. от 05.01.2023 08:02:02Для таких случаев вы всегда можете создать свои типы данных и реализовать операции над ними. В том числе и на C с использованием данных возможностей процессора.

Ну так я могу и делить на архитектуре, не поддерживающей деление, приходилось. Речь не об этом – речь об аппаратных возможностях и их использовании. Я помню те времена, когда компилятор имел три типа библиотек – использующую аппаратные возможности x87, эмулятор x87 и просто библиотеку подпрограмм, реализующую необходимую функциональность. "то были C иFortran для DOS и OS/2. И скажу я вам, что производительность первой и второй различались не в разы и даже не в сотни раз – в тысячи, а некоторые алгоритмы линейной алгебры выполнялись еще дольше.
Цитата: Oleg K. от 05.01.2023 08:02:02В криптографических операциях на сервере (на оборудовании, к которому отсуствует физический доступ у злоумышленника) использование аппаратных команд процессора вместо подпрограмм не несет никакой дополнительной защиты.

Аппаратура генерирует и хранит ваш приватный ключ, плюс сеансовые ключи и вынуть их оттуда невозможно. Они там рождаются и там же остаются. Доступ есть только к публичному ключу. Плюс аппаратная реализация алгоритмов. Что касается "отсутствия физического доступа", то организовать это запредельно дорого.
Реальным хранилищем секретов сегодня является человек или камень. Чтобы добыть секрет в первом случае, достаточно получить к человеку доступ.  Во втором случае вы бессильны.
  • +0.01 / 1
Oleg K.
 
russia
Москва
39 лет
Слушатель
Карма: +14.41
Регистрация: 28.12.2011
Сообщений: 1,372
Читатели: 1
Цитата: adolfus от 05.01.2023 10:18:55Ну так я могу и делить на архитектуре, не поддерживающей деление, приходилось. Речь не об этом – речь об аппаратных возможностях и их использовании. Я помню те времена, когда компилятор имел три типа библиотек – использующую аппаратные возможности x87, эмулятор x87 и просто библиотеку подпрограмм, реализующую необходимую функциональность. "то были C иFortran для DOS и OS/2. И скажу я вам, что производительность первой и второй различались не в разы и даже не в сотни раз – в тысячи, а некоторые алгоритмы линейной алгебры выполнялись еще дольше.

Или я плохо описал, или вы неправильно поняли. Вы можете написать какой угодно программный код на C (хоть с аппаратными криптографическими ключами работайте, хоть с генератором случайных чисел, хоть с чем) и подключить его для использования внутри базы данных PostgreSQL. Данная база данных реализована с максимально доступными для расширения встроенными механизмами.
Цитата: adolfus от 05.01.2023 10:18:55Аппаратура генерирует и хранит ваш приватный ключ, плюс сеансовые ключи и вынуть их оттуда невозможно. Они там рождаются и там же остаются. Доступ есть только к публичному ключу. Плюс аппаратная реализация алгоритмов. Что касается "отсутствия физического доступа", то организовать это запредельно дорого.
Реальным хранилищем секретов сегодня является человек или камень. Чтобы добыть секрет в первом случае, достаточно получить к человеку доступ.  Во втором случае вы бессильны.

По-моему, вы несколько далеки от действительных проектов по защите информации. Данный комментарий не вяжется с реальными сценариями атак и прорабатываемыми методами защиты данных. EEPROM из камня тоже можно выпаять и прочитать - это даже иногда проще, чем "человека расколоть". Ну и в целом не понятно, при чем тут лицензия/исхдники и ваш текст выше...
Как бы то ни было, по теме работы с базой данных PostgreSQL я вроде достаточно написал (и по нашим компаниям, её дорабатывающим и использующим тоже).
Могу только добавить в части личных впечатлений. Одного из основателей PostgresPro - Олега Бартунова - часто вижу на конференциях (ещё с тех времен, когда PostgreSQL не был так широко распространен и держался по сути на голом энтузиазме) и могу рекомендовать как высококлассного специалиста, открытого для сотрудничества. Тот факт, что у него получилось с соратниками создать работающую структуру и, надеюсь, получится полностью вписать её в коммерческий рынок баз данных, иначе, как чудом назвать сложно. Например, в 2018 году (год примерно - пишу по памяти) попытки сформулировать и хоть как-то продвинуть в узком кругу формат финансирования работ по разработке и развитию баз данных упирался в глухую стену непонимания. Надеюсь, что теперь взлетит по-настоящему. Нужно ещё лет 5 поработать с этим и посмотреть - там уже станет понятна траектория.
  • +0.13 / 6
Прокруст
 
Слушатель
Карма: +0.97
Регистрация: 25.01.2014
Сообщений: 1,432
Читатели: 1
Цитата: Oleg K. от 04.01.2023 02:37:49У PostgreSQL лицензия BSD - у сделанных на его основе программ исходники публиковать не обязательно.

Авторы PostgreSQL молодцы, выбрали правильную лицензию. Которую могут использовать все - любой бизнес, хоть малый, хоть средний, хоть корпорации.
Публикующие исходники под лицензией GNU GPL 3 - игграют на руку корпорациям. Их исходники по факту не может использовать малый или средний бизнес. Корпорации же при необходимости могут банально переписать код - деньги и ресурсы у них есть. Тое сть они на словах борясь за свободу кода, на практике поддерживают корпорации.и монополизацию.
  • +0.01 / 1
dmitriк62
 
russia
Москва
61 год
Слушатель
Карма: +209.18
Регистрация: 15.07.2009
Сообщений: 29,816
Читатели: 8
Цитата: Podli от 02.01.2023 15:13:20Пользуем базёнки MySQL на 10+ терабайт данных и 10 000+ запросов в секунду. Работают, ломаются только вместе с железом, поднимаются после смерти хоста через ...дцать минут на реплике. Чего такого волшебного нам какой-нить другой скуль могёт предложить?

   
Детсадовские масштабы.
Тут можно было на Бейсике налабать самоделку, чтобы таблички обрабатывать...
Смеющийся
   
Да, и как там с кластеризацией и прочей транзакционностью?
Отредактировано: dmitriк62 - 06 янв 2023 10:10:16
Многие пытаются смотреть, куда идёт дым.
А надо бы - откуда ветер дует.
  • +0.00 / 0
basilevs
 
russia
Санкт-Путинбург
Слушатель
Карма: +236.65
Регистрация: 31.10.2008
Сообщений: 6,402
Читатели: 7
Цитата: adolfus от 05.01.2023 10:18:55Аппаратура генерирует и хранит ваш приватный ключ, плюс сеансовые ключи и вынуть их оттуда невозможно. Они там рождаются и там же остаются. Доступ есть только к публичному ключу. Плюс аппаратная реализация алгоритмов.


Я не понимаю, вам нужна промышленного уровня СУБД, или мега-секретное хранилище. Если второе - то милости просим SQL СУБД Линтер Бастион. Сертификат МО РФ прилагается.

ЦитатаФедеральный орган по сертификации средств защиты информации принял решение о продлении действия сертификата соответствия №1489 Министерства обороны на систему управления базами данных ЛИНТЕР БАСТИОН до 2 октября 2024 года.

  • +0.03 / 2
ivan2
 
russia
Санкт-Петербург
63 года
Слушатель
Карма: +8.60
Регистрация: 16.11.2008
Сообщений: 8,834
Читатели: 1
Цитата: basilevs от 06.01.2023 10:48:53Я не понимаю, вам нужна промышленного уровня СУБД, или мега-секретное хранилище. Если второе - то милости просим SQL СУБД Линтер Бастион. Сертификат МО РФ прилагается.

ЦитатаФедеральный орган по сертификации средств защиты информации принял решение о продлении действия сертификата соответствия №1489 Министерства обороны на систему управления базами данных ЛИНТЕР БАСТИОН до 2 октября 2024 года.



Там проблема глубже. Даже безотносительно конкретной идеи БД.
Базы данных должны быть как-то совместимы. Но именно это упирается в стену безопасности информации.
Просто для примера. Телефонный справочник. В полку несекретный, В дивизии, армии ДСП, в округе секретный, выше СС. По требованиям ФСБ и МО недопустимо объединять в единую систему сегменты  разным уровнем безопасности. Единый телефонный справочник невозможен.
Есть ещё фишка. Удалённое хранение в зашифрованном виде. Вы можете сделать распределённую БД, но извольте в зашифрованном виде. Казалось бы нет проблем. Но они есть.
Первая проблема- регулярная смена ключевых документов, и, как следствие, перешифрование как самих удалённых кусков БД, так и удалённо хранящихся бэкапов.
Вторая проблема - компрометация ключевых документов. При компрометации ключа всё, что зашифровано этим ключом должно быть уничтожено как недоверенное.
Линтер сам по себе ничего не решает.
Нам нужен мир!
Желательно весь.
  • +0.07 / 7
gvf
 
51 год
Слушатель
Карма: +13.20
Регистрация: 06.03.2012
Сообщений: 10,478
Читатели: 12
Цитата: ivan2 от 06.01.2023 12:51:23Там проблема глубже.

Протоколы безопасности рассчитаны на "бумажные" технологии и не учитывают современные средства.
  • +0.00 / 0
ivan2
 
russia
Санкт-Петербург
63 года
Слушатель
Карма: +8.60
Регистрация: 16.11.2008
Сообщений: 8,834
Читатели: 1
Цитата: gvf от 06.01.2023 13:02:31Протоколы безопасности рассчитаны на "бумажные" технологии и не учитывают современные средства.

РД АС, РД СВТ. Временные требования ФСБ к АС и их составным частям, но они секретные ("Временные", это такой закидон, позволяющий в любое время их ужесточить). Какие ещё бумажные технологии и протоколы? Там про то, что разработчик должен обеспечить. Как, да без разницы. Надо уничтожать диски, да хоть стреляйте в них, хоть в кислоте растворяйте.
Нам нужен мир!
Желательно весь.
  • +0.03 / 2
Сейчас на ветке: 3, Модераторов: 0, Пользователей: 0, Гостей: 1, Ботов: 2