IT в России и мире в реалиях мирового кризиса

Цитата: bjaka_max от 16.11.2010 23:58:52
Ну у нас вот например на ресурсе куча мелких файлов и клиенты постоянно обращаются к разным, при нашей пиковой нагрузке файловая подсистема практически сдыхала, сильно увеличивалось время отклика сервера, резко возрастало количество активных соединений и сервер начинал отрубать входящие. Пока решили установкой твёрдотельных дисков. Возможно придётся кластер организовывать. При том что и процессор и память не кончились. Производительность упёрлась в дисковую подсистему. Ваш подход на нашем сервере, только усугубил бы ситуацию при неблагоприятных обстоятельствах, либо не улучшил бы.

Во-первых, сильно рекомендую отмониторить систему и выяснить, сколько иопсов она потребляет. Если жизнь заставит вновь переходить на жесткие диски - сильно пригодится.

Во вторых, если есть бюджет, то рассмотрите вопрос о приобретении внешней полки или дискового массива. Я, за бедностью, поставил HP MSA, у Netapp есть неплохие машинки 2040, выше - уже 3000, они уже хорошо стоят. Но надо знать потребные иопсы.

Кстати, во многих более-менее серьезных программах есть свой memory manager со своим "свопом". Навскидку вспоминается MS SQL и Photoshop

Цитата: ata от 17.11.2010 08:41:13
Ндаа...

Докладываю: в настоящий момент существует фундаментальная проблема ограничения количества iops на жестких дисках. Самые быстрые 15к дают около 200 iops, 10к - около 150. И если в DL360 я могу спокойно набить 24 гига оперативы (а можно и больше, смысла нет), то поставить больше 8 дисков - не могу. А это - примерно 1500 iops, причем - в теоретическом максимуме, на практике - меньше.

Твердотельные диски, не имеющие таких ограничений, имеют либо космическую цену при мизерных объемах (60-гиговый HP стоит порядка 1200 баксов в онлайн-конфигураторе, ЕМНИП), либо ограниченное число перезаписей у MLC - примерно 3-5 тыс. на ячейку.

В сухом остатке имеем: своппинг и пейджинг давно перестали быть жизненно важной технологией, это - просто гарантия от внезапного исчерпания памяти. Если система свопится в моменты нагрузок - пора в магазин.

Вы кажется пытаетесь представить ограничения Вашего конкретного контроллера Smart Array P410i для HP - ProLiant DL360 как "фундаментальную проблему ограничения количества iops на жестких дисках". Если Ваш контроллер не способен контролировать более 8 дисков, это еще не фундаментальная проблема. По Вашему же совету зайдите в магазин:
http://h18004.www1.hp.com/products/servers/proliantstorage/arraycontrollers/index.html
и Вы сможете выбрать себе контроллер до 108 дисков.
Но вообще-то мы обсуждали не наличие общего ограничения на производительность io, которое в любой системе всегда известно, а вопрос надо ли ограничивать доступ процессов к каналу io, чтобы предупредить захват канала одним из процессов в ущерб другим.На мой взгляд это может регулироваться очередностью доступа процессов к каналу без каких-либо явных ограничений.
Нельзя не согласиться с Вами, что своппинг и пейджинг "просто гарантия от внезапного исчерпания памяти". Это конечно не значит, что о них пора забыть навсегда. Пики случаются, и иметь буфер на такой случай не помешает, хотя бы потому что можно не успеть сбегать в магазин.

Цитата: bjaka_max от 17.11.2010 09:07:39
Не понял, как вы собираетесь каждому процессу свою файловую систему предоставлять, диск то грубо говоря один? По крайней мере дисков гораздо меньше чем процессов.

Хочу напомнить, что файловые системы создаются не на дисках, а на разделах дисков ( partitions ), а этих разделов Вы может нарезать сколько понадобится. Для гибкости нарезки можете использовать lvm.

Цитата: Поверонов от 19.11.2010 00:31:54
Хочу напомнить, что файловые системы создаются не на дисках, а на разделах дисков ( partitions ), а этих разделов Вы может нарезать сколько понадобится. Для гибкости нарезки можете использовать lvm.

ну при чём тут это... я ж вам говорю, система уткнулась во время позиционирования головок диска, разделы то как тут помогут?

Цитата: bjaka_max от 19.11.2010 06:50:42
ну при чём тут это... я ж вам говорю, система уткнулась во время позиционирования головок диска, разделы то как тут помогут?

Увеличьте кэш  8)

Проектировщикам СКС на заметку.
ОТКРЫТЫЙ СТАНДАРТ OSSIRIUS SCS 702

Цитата
1.0. Сведения о стандарте OSSIRIUS SCS 702.


1.1. Стандарт OSSIRIUS SCS 702 задаёт порядок применения компактных настенных шкафчиков при построении структурированных кабельных систем коммерческих зданий.

1.2. Стандарт OSSIRIUS SCS 702 оптимизирован под задачи обслуживания объектов до 130 000 кв.м. (при охвате в 368 метров) и до 1000 пользователей, что определяет набор правил, решений и технологий, вошедших в него. При этом максимальное число пользователей ограничивается 50 000.

1.3. Стандарт OSSIRIUS SCS 702 является открытым и независимым. Положения стандарта формируются и изменяются исключительно в ходе публичных обсуждений в пределах, заданных положениями международных стандартов ИСО/МЭК 11801, ANSI/TIA/EIA-568B и российским стандартом ГОСТ Р 53246-2008.

Цитата: Поверонов от 19.11.2010 00:22:55
Вы кажется пытаетесь представить ограничения Вашего конкретного контроллера Smart Array P410i для HP - ProLiant DL360 как "фундаментальную проблему ограничения количества iops на жестких дисках". Если Ваш контроллер не способен контролировать более 8 дисков, это еще не фундаментальная проблема. По Вашему же совету зайдите в магазин:
http://h18004.www1.hp.com/products/servers/proliantstorage/arraycontrollers/index.html
и Вы сможете выбрать себе контроллер до 108 дисков.

8 дисков - это ограничения конструктива DL360, а не контроллера. Я это писал к тому, что в моей практике ограничения на объем оперативной памяти значительно слабее, чем на количество шпинделей - сравните процесс добавления нескольких планок памяти и установки и настройки контроллера, доп.полки (полок), а также цену железок.

Слова "фундаментальное ограничение" относилась к иопсам в рамках конкретной системы. Если человеку нужно 100к иопсов, то и "контроллер на 108 дисков" слабо поможет. И не забываем, что если задача потребляет такое io, то там есть и другие требования - типа доступности, надежности, и т.п. И все это подитоживает строчка под названием "бюджет".

Цитата
Но вообще-то мы обсуждали не наличие общего ограничения на производительность io, которое в любой системе всегда известно, а вопрос надо ли ограничивать доступ процессов к каналу io, чтобы предупредить захват канала одним из процессов в ущерб другим.На мой взгляд это может регулироваться очередностью доступа процессов к каналу без каких-либо явных ограничений.

А теперь я не понимаю сути формулируемой проблемы.
В реальной системе процесс обычно не может захватить канал io, так как он доступа к нему не имеет. Процесс общается с ОС, ОС - с драйвером контроллера, тот - с самим контроллером, а тот уже - с дисками. И про слой моей любимой виртуализации не забываем.

У Бяки_Макса возникла типичная проблема: "зависание" системы из-за несоответствия требований задачи к io и возможностей железа. Обойти такое несоответствие в софте невозможно, о чем я и пытался донести мысль.

Цитата
Нельзя не согласиться с Вами, что своппинг и пейджинг "просто гарантия от внезапного исчерпания памяти". Это конечно не значит, что о них пора забыть навсегда. Пики случаются, и иметь буфер на такой случай не помешает, хотя бы потому что можно не успеть сбегать в магазин.

Конценсцус.

Кстати, для грубой оценки "иопсы с одного диска" хорошо подходит формула 1000/latency.

Как думаете, почему так?

Цитата: cyberone от 19.11.2010 09:59:38
Увеличьте кэш  8)

Проблема ограничений на iops дисковой подсистемы легко решается созданием кэш-буфера в размер дисковой подсистемы

Цитата: ata от 13.11.2010 15:04:43
Эхх...(достает шашку)
Интересно, а про облачные вычисления они зачем вставили? Типа услышали модное слово в телевизоре?

Дык это Сергей Белоусов (Parallels) Димону по ушам проехал.
Это не шутка, кстати.

Цитата: ata от 19.11.2010 13:29:07
Проблема ограничений на iops дисковой подсистемы легко решается созданием кэш-буфера в размер дисковой подсистемы

Ну размер, а следовательно и сумма определяется условиями задачи, если строим не супер-пуперкомпьютер.

Цитата: openal от 20.11.2010 20:10:07
Ну размер, а следовательно и сумма определяется условиями задачи, если строим не супер-пуперкомпьютер.

Года два как не сталкиваюсь с компаниями, где айтишники определяет бюджет - интересно, почему? Иногда лучше отказаться от реализации проекта, чем реализовывать с тем бюджетом, который дают.

Любая задача имеет несколько вариантов решения. "Быстро, качественно, дешево - выберите любые два!" Например, для задачи "дисковая подсистема с туевой кучей (скажем, 10к) iops":

"Быстро и качественно": Промышленная СХД (HP EVA, Netapp FAS, EMC, Hitachi AMS и т.п.). Цены начинаются от 100 к (и, если честно, эта сумма - только на "попробовать", по большому счету). Нормальное решение - где-то плюс-минус мильончик уёв.

"Быстро и дешево": это кучка бытовых SSD. Никто не даст гарантии, что они не сдохнут пачкой в тот момент, пока перестраивается рейд-массив после падения первого из них.

"Качественно и (сравнительно) дешево": это городить огород с доп.контроллерами, внешними полками под диски, тщательной оптимизацией софта, необходим постоянный мониторинг и, в случае чего, срочная закупка дополнительного оборудования. В рамках линейки HP - что-то типа сервера с полкой MSA70 (которая до 70 дисков). Но интересно, какие слова будут говорить люди, когда выяснится, что производительность системы надо бы еще немного поднять

А теперь угадайте, на какой вариант обычно хватает выделенного бюджета?

ps. А про "кеш в размер дисковой подсистемы"... Я сейчас отдаю серверам 3.6 ТБ usable space. Сколько будет стоить BBWC такого объема - предлагаю догадаться самостоятельно

В рамках оживления полудохлой темы предлагаю обсудить состояние и перспективы отечественного мега-процессора Эльбрус. Уж топичнее некуда. Статьи, ссылки, личные впечатления. Если еще какой-нибудь отечественный процессор найдется - тоже будет здорово.

Цитата: ata от 06.12.2010 12:00:02
В рамках оживления полудохлой темы предлагаю обсудить состояние и перспективы отечественного мега-процессора Эльбрус. Уж топичнее некуда. Статьи, ссылки, личные впечатления. Если еще какой-нибудь отечественный процессор найдется - тоже будет здорово.

Вот достаточно интересная статья по этому поводу:
http://habrahabr.ru/…are/81171/

В целом, для узкоспециализированных задач вполне приемлемые решения.
Где то даже чувствуется легендарный русский минимализм в плане неприхотливости, в частности, в отношении тепловыделения.



как видно, ни радиаторов ни вентиляторов

Господа, нужен ли нам такой Евросоюз, ВТО и весь Запад в целом? Нужы ли такие права человека, в том числе авторские?

Читайте жесть как она есть. БП собственной персоной, без всякой Третьей мировой. ПП есть, и они реально существуют, потому что ТАКОГО больше никто не мог придумать.

3 декабря был опубликован финальный вариант ACTA (Anti-Counterfeiting Trade Agreement) - международного соглашения, предложенного для усиления борьбы с нарушениями авторских прав. Согласно заявлениям представителей Евросоюза, до окончательного подписания осталось несколько недель.

Инициаторами соглашения выступили США, Евросоюз, Япония, Канада, Австралия, Швейцария, Южная Корея, Новая Зеландия, Мексика, Сингапур и Марокко, но согласно официальным сообщениям, ожидается, что к соглашению присоединятся также Бразилия, Россия и Китай.

Среди прочего, соглашение предусматривает:
Взаимное признание патентов всеми участвующими странами
Контроль за перемещением контрафактных материалов на границе, обыск личных вещей на предмет наличия нарушений копирайта
Ответственность провайдеров за хостинг и передачу трафика, содержащего контрафактные материалы
Провайдеры будут обязаны раскрывать владельцам копирайта информацию о своих абонентах по первому требованию
Запрет любого, включая свободное, ПО, которое может использоваться для просмотра материалов, защищенных DRM или преодоления средств защиты, даже если оно может использоваться и в других целях. Запрет на маркетинг и хостинг соответствующих проектов.
Разрешение на проведение обысков с целью поиска контрафактных материалов даже в тех случаях, когда нет оснований для подозрений
Введение уголовной ответственности за нарушение копирайта в тех странах, где такой ответственности нет
Введение уголовной ответственности за помощь, соучастие и подстрекательство к нарушению прав интеллектуальной собственности
Введение ответственности за преодоление DRM или разработку ПО, которое может использоваться для преодоления DRM и других технических средств защиты, даже если оно может использоваться в других целях
Для возбуждения уголовного дела за нарушение копирайта не должно быть нужно заявление или согласие владельца прав интеллектуальной собственности. Компетентные органы должны заводить такие дела по своей инициативе
Изъятие и ликвидация без промедления любых предметов с фальшивыми товарными марками без компенсации владельцу. Удаление товарных знаков не является достаточным основанием для возврата товара владельцу или реализации товара другим способом
Изъятие и ликвидация без промедления любых материалов и оборудования, основное использование которых - производство товаров, нарушающих законодательство об интеллектуальной собственности
Каждая участвующая страна обязана пропагандировать важность защиты интеллектуальной собственности среди населения, в том числе, в образовательных учреждениях.

Кроме того, управляющий комитет будет иметь право выпускать дополнения к ACTA, разработанные при участии производителей контента, которые будут иметь силу закона, но не будут требовать ратификации в странах-участниках и не будут проходить юридическую экспертизу.

Разработка соглашения велась несколько лет в строгом секрете, даже представителям Европейского парламента не удалось получить проект соглашения до утверждения окончательного варианта. Просьбы общественных организаций об опубликовании предварительных вариантов соглашения были отклонены со ссылкой на соображения секретности и национальной безопасности США, хотя некоторые утечки информации были выложены на Wikileaks.

В то же время, в разработке приняли тесное участие организации, занимающиеся защитой копирайта, такие как RIAA, IIPA, BSA, MPAA и MPA. Кроме того, предварительный текст соглашения был также доступен ряду частных компаний, таких как Sony Pictures, Time Warner и Verizon по соглашению о неразглашении.

Подтверждающие ссылки:

http://europa.eu/rap…anguage=en

http://en.wikipedia.…_Agreement

http://www.youtube.c…re=related

И особенно http://trade.ec.euro…147079.htm там финальный текст соглашения.

С одной стороны, с пиратством в России надо что-то делать, так как уровень весьма высокий. Этим объясняются принимаемые драконовские законы.

С другой, полное отсутствие правового противодействия беспределу копирастов приведет к печальным результатам, когда выйти на рынок ПО независимому разработчику будет невозможно в принципе.

Цитата: ata от 09.12.2010 13:59:41
С одной стороны, с пиратством в России надо что-то делать, так как уровень весьма высокий. Этим объясняются принимаемые драконовские законы.

С другой, полное отсутствие правового противодействия беспределу копирастов приведет к печальным результатам, когда выйти на рынок ПО независимому разработчику будет невозможно в принципе.

Пиратство надо легализовать и всё будет хорошо. Мы не хотим играть по чужим правилам, пускай они играют по нашим.
А если серьёзно, то всё упирается не в законодательную базу , а в реальные возможности. Всю эту копирайтовскую дребедень надо назвать своими словами - это западный протекционизм, и нас хотят заставить играть в эту игру с одними воротами. Хрен им в грызло!
А что касается ПО - тут всё проще:  поставить Линукс и всё новое делать с окрытым кодом и только под него.

Заказчик – Внимание! На рынке «суперинновационные технологии ГЛОНАСС»!
...При более детальном изучении платы анализируемого изделия было установлено (ВНИМАНИЕ!!!), что навигационный приемник СН-4706, присутствующий на плате, как явствует из рисунка 6, фактически на плату не установлен! (под установкой в данном случае понимается соединение соответствующих выводов приемника с выводами платы путем технологии SMD (поверхностный монтаж) с целью нормального функционирования как самого навигационного приемника, так и платы в целом).

Не поддаются пониманию конечные мотивы производителя, но навигационный приемник СН-4706 крепится к плате при помощи двухстороннего скотча (рис.8 и 9) и поролоновых вкладышей между контактами приемника и поверхностью платы (см.рис. 10 и 11).

http://www.aggf.ru/a…s=news2010

Цитата: транаец от 10.12.2010 00:35:12
Пиратство надо легализовать и всё будет хорошо. Мы не хотим играть по чужим правилам, пускай они играют по нашим.

Мне как-то претит жить по моральным принципам глистов.

Цитата
А если серьёзно, то всё упирается не в законодательную базу , а в реальные возможности. Всю эту копирайтовскую дребедень надо назвать своими словами - это западный протекционизм, и нас хотят заставить играть в эту игру с одними воротами. Хрен им в грызло!

То есть свое делать не умеем, за чужое платить не хотим, но виноваты почему-то другие. Интересненько!

Цитата
А что касается ПО - тут всё проще:  поставить Линукс и всё новое делать с окрытым кодом и только под него.

Линукс - это те же западные технологии. Причем, многое интересное на линухе - закрытое и/или стоит серьезных денег. Ну и не надо забывать про роль спонсоров, ибо кто платит деньги - тот и заказывает музыку.