The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Опыт создания хранилища Ceph c пропускной способностью тебибайт в секунду

20.01.2024 20:59

Инженер из компании Clyso обобщил опыт создания кластера хранения на базе отказоустойчивой распределённой системы Ceph с пропускной способностью, превышающей тебибайт в секунду. Отмечается, что это первый кластер на базе Ceph, который смог достигнуть подобного показателя, но перед получением представленного результата инженерам потребовалось преодолеть серию неочевидных подводных камней.

Например, для повышения производительности на 10-20% было достаточно включить на серверах в настройках энергосбережения BIOS работу только в режиме максимальной производительности и отключить c-state (c-state меняет параметры энергосбережения в зависимости от нагрузки, что отражается на Ceph). Также оказалось, что при использовании накопителей NVMe ядро Linux значительное время тратит на обработку spin-блокировок в процессе обновления маппинга IOMMU. Отключение IOMMU в ядре привело к заметному росту производительности в тестах записи и чтения блоков размером 4MB.

При этом отключение IOMMU не решило проблему с проседанием производительности при случайной записи блоков, размером 4KB. Разбираясь в чём дело, инженеры натолкнулись на исправления в сборочных сценариях Ceph от проектов Gentoo и Ubuntu, которые включали сборку с опцией RelWithDebInfo, так как с ней в GCC применялся режим оптимизации "-O2", при котором заметно возрастала производительность Ceph. К снижению производительности также приводила компиляция с библиотекой TCMalloc. Изменение флагов компиляции и прекращение использования TCMalloc привело к снижению времени упаковки (compaction) в три раза и повышению производительности случайных операций записи блоками 4K в два раза. В финале дополнительно была произведена оптимизация настроек Reef RocksDB и групп размещения (PG).

Кластер сформирован из 68 узлов на базе серверов Dell PowerEdge R6615 с CPU AMD EPYC 9454P 48C/96T. Каждый узел содержит 10 NVMe-накопителей Dell 15.36TB, два Ethernet-адаптера 100GbE Mellanox ConnectX-6 и 192 ГБ ОЗУ. Программное обеспечение основано на Ubuntu 20.04.6 и Ceph 17.2.7. В кластере на 63 узлах поднято 630 OSD (Оbject Storage Daemon, фоновый процесс управляющий хранением данных в локальном хранилище, по одному OSD на NVMe-накопитель), три процесса MON (monitor, отслеживает состояние кластера) и один процесс MGR (Manager, управляющий сервис). Размер хранилища 8.2 ПБ.

Пропускная способность при последовательных операциях чтения блоков 4М составила 1025 GiB/s, записи - 270 GiB/s. При случайном чтении блоков 4KB производительность составила 25.5 миллионов операций чтения в секунду и 4.9 млн при записи. Включение шифрования уменьшило пропускную способность при чтении примерно до 750 GiB/s. При задействовании кодов коррекции ошибок EC62 пропускная способность составила 547 GiB/s при чтении и 387 GiB/s при записи (скорость записи оказалась выше, чем без кодов коррекции), а при случайном доступе 3.4M IOPS при чтении и 936K IOPS при записи.

Дополнительно можно отметить, что в сентябре похожий рубеж пропускной способности в тебибайт в секунду был достигнут в эксабайтном кластере хранения CERN, реализованном на базе открытого распределённого хранилища EOS, построенного на базе протокола XRootD.

  1. Главная ссылка к новости (https://news.ycombinator.com/i...)
  2. OpenNews: Red Hat перевёл проект Ceph под покровительство Linux Foundation
  3. OpenNews: Red Hat уведомил о возможной подмене злоумышленниками пакетов Ceph для Ubuntu и CentOS
  4. OpenNews: Red Hat поглотил компанию Inktank, развивающую ФС Ceph
  5. OpenNews: Выпуск распределённого хранилища Ceph 10.2.0
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/60470-ceph
Ключевые слова: ceph
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (95) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 21:26, 20/01/2024 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –4 +/
     

  • 1.2, Аноним (2), 21:39, 20/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –9 +/
    >RelWithDebInfo
    >-O2

    Расскажите инвалидам про PGO, кто-нибудь, представляю их шок от по-настоящему эффективного кода.

    Есть ещё -fno-semantic-interposition -fno-plt ускоряющие тот же питон на ~50%.

    >TCMalloc

    А вот тут не удивлён, больше удивлён, что столько желающих бездумно пихнуть эту дрянь в проект.

     
     
  • 2.8, ZWayland (?), 00:18, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Ты хоть видел LLVM-0 там RelWithDebInfo ?
     
     
  • 3.16, Аноним (2), 00:48, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >LLVM

    Вообще ужасно плохой и совершенно не универсальный код продуцирует, это да. Нет исключений. Разве что Skia, там шлангоспецифичные костыли нагорожены.

     
     
  • 4.17, Ext (??), 00:56, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >> Вообще ужасно плохой и совершенно не универсальный код продуцирует, это да

    Как проводили замеры эмулировали ли вы clangd делая его ссылку в usr/bin как будто он есть никто иной как c++ ?

     
     
  • 5.18, Аноним (2), 01:03, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Сборкой пакетов различными тулчейнами, выполнением сетов тестов (10 штук по кругу), анализом результатов и взятием среднего, а также разбором генерируемого кода в некоторых случаях. Советую меньше читать похороникс с его gcc -O3 (это вообще самый медленный код примерно всегда даёт).
     
     
  • 6.21, Ext (??), 02:03, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >> Сборкой пакетов различными тулчейнами, выполнением сетов тестов (10 штук по кругу), анализом результатов и взятием среднего, а также разбором генерируемого кода в некоторых случаях. Советую меньше читать похороникс с его gcc -O3 (это вообще самый медленный код примерно всегда даёт).

    А , зачем говорить о производительности когда я спросил про clangd ? Вы услышали в этом  вопросе что то про -O3 ? Залепили минус и радуетесь как ребенок

     
     
  • 7.22, Аноним (2), 02:08, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >>> Сборкой пакетов различными тулчейнами, выполнением сетов тестов (10 штук по кругу), анализом результатов и взятием среднего, а также разбором генерируемого кода в некоторых случаях. Советую меньше читать похороникс с его gcc -O3 (это вообще самый медленный код примерно всегда даёт).
    > А , зачем говорить о производительности когда я спросил про clangd ?
    > Вы услышали в этом  вопросе что то про -O3 ?
    > Залепили минус и радуетесь как ребенок

    Изначальный тейк
    >LLVM ужасно плохой и совершенно не универсальный код продуцирует

    и cland тут ни к селу ни к городу, а вот про минусы/плюсы это точно, ну, если кому-то от этого легче живётся, то всегда пожалуйста [картинка со слоном]

     
     
  • 8.24, Ceph (?), 03:13, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Может потому что слишком много статиков в исходном коде , ну так поубирайте их ,... текст свёрнут, показать
     
  • 2.36, onanim (?), 11:08, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > TCMalloc
    > дрянь

    а что насчёт jemalloc? если мне не изменяет память, старые версии 2.x оче ускоряли софт (но начиная с 3.x там что-то сломали и оно стало намного медленнее)
    новые версии не юзал.

     
     
  • 3.93, Бывалый смузихлёб (?), 09:02, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > PR #55238 130 has landed today, removing jemalloc from the Rust standard library
    > jemalloc is often more performant than the system’s allocator, but not always,
    > and it adds a non-trivial amount to the size of the executable.

    Уж если его даже из раста выкинули...

     
     
  • 4.116, onanim (?), 15:21, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > раст

    не показатель

     
  • 2.62, Ivan_83 (ok), 15:54, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    https://stackoverflow.com/questions/35745543/new-option-in-gcc-5-3-fno-semanti
    https://stackoverflow.com/questions/65554551/why-gcc-generates-a-plt-when-it-i

    Что то по описанию не похоже что это можно просто включить для всего софта в системе и забыть.

     
     
  • 3.63, Аноним (2), 16:21, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Я так сделал, никаких проблем. В приличных корпоративных дистрах мейнтейнеры пакетов добавляют эти флаги.

     
     
  • 4.74, Ivan_83 (ok), 19:37, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Я пересобрал фрю с этими двумя флагами и она просто не грузится.
     
     
  • 5.78, Аноним (2), 21:36, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Я пересобрал фрю с этими двумя флагами и она просто не грузится.

    Ну так фря и не линукс. Glibc без включенного -fsemantic-interposition тоже сломали, когда перешли на внешнюю libxcrypt. Раньше работало. И в честь этого решили убрать custom-cflags из юзов. Примерно все остальные пакеты у меня собраны без semip.

     
  • 2.108, Аноним (108), 12:10, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Для тебя неуч

    https://tracker.ceph.com/issues/40745

    https://aur.archlinux.org/cgit/aur.git/tree/PKGBUILD?h=ceph

    # -fno-plt causes linker errors (undefined reference to internal methods)
    # similar issue: https://bugs.archlinux.org/task/54845
    # https://github.com/intel/media-driver/commit/d95d8f7ab7ac94a2e0f4ee6a4b4794898
    # as of today (2019-07-12) the upstream maintainers do not consider this a bug in their code
    # (IMHO rightfully so) and thus we strip the option here

    Надеюсь ты разрабам ceph подкинешь патчей для исправления.

     
     
  • 3.109, Аноним (2), 12:14, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Неуч, это означает только то, что код низкого качества. Понятно, что это не универсальный флаг. В принципе, ошибки линкера -- это наиболее легко выявляемая и диагностируемая проблема, и часто они возникают из-за багов в конкретном линкере.
     

  • 1.4, Tron is Whistling (?), 22:47, 20/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Про i/o latency ни слова :)
     
     
  • 2.6, Tron is Whistling (?), 22:55, 20/01/2024 [^] [^^] [^^^] [ответить]  
  • +5 +/
    А в оригинале между прочим есть, там по факту почти запредельная latency для "network however was already built, and it's a beast".
     
  • 2.19, нах. (?), 01:20, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    да лана, мне гораздо интереснее через сколько секунд этот синхроглюкотрон у них навернулся и похоронил под собой все данные.

    Полагаю, с супер-пупер оптимизацией этого не пришлось ждать слишком долго.

     
     
  • 3.23, Аноним (23), 02:57, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +7 +/
    А вот зависть — плохое чувство. Над собой нужно работать.
     
     
  • 4.60, Всем Анонимам Аноним (?), 15:33, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    К любой новости на opennet 80% коментариев, что все это хрень и глюкало. (подразумевается обычно что типа вот я бы лучше сделал в 1000 раз, если бы кто-то попросил меня слезть с дивана и попробовать хотя бы 1 раз что-то сделать)
     
     
  • 5.64, aNonim (?), 16:29, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Эка, Вы, кучеряво "Сперва добейся" оформили, демагоги одобряют))  
     
     
  • 6.80, Аноним (80), 21:45, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Скорее что про Льва Толстого и кого-то простого.
     
  • 5.84, Аноним (84), 22:32, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Не, у пох/наха к цефу особенно трепетное отношение. Особенно когда в связи с проксмосом упоминается, там вообще наступает экстаз. Видать что-то очень личное (например, в начале карьеры из-за цефа всё потерял и уволили).
     
     
  • 6.86, Tron is Whistling (?), 22:35, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    У меня к цефу не менее трепетное отношение.
    Я это сильно более 1 раза пытался тестировать, модное, молодёжное...
    Но вот проблема - ни одного раза, когда оно мне смогло должную отказоустойчивость обеспечить, не случилось.
    Вылет более одной ноды одновременно - это всё, хардкор, ад, содомия, скотоложество и т.п.
     
     
  • 7.97, Пряник (?), 09:52, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда ставить более двух реплик данных?
     
     
  • 8.99, Tron is Whistling (?), 10:24, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Да не, там всё жестоко даже с несколькими репликами А особенно жестоко с EC PG... текст свёрнут, показать
     
     
  • 9.110, Пряник (?), 12:25, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Очень размытая формулировка Предположу, что из-за недоступности нескольких OSD ... текст свёрнут, показать
     
     
  • 10.113, Tron is Whistling (?), 14:08, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Никакой размытой формулировки PG просто залипают в undersized, incomplete и про... текст свёрнут, показать
     
  • 7.101, 1 (??), 10:27, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Ну хоть не я один ....
     
  • 6.89, User (??), 07:47, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ну, у меня в окрестностях есть минимум два прецедента с крупным "разлетом-в-лоскутья" и восстановлением с бэкапа чего смогли, причем один из них - вполне себе облачный провайдер, т.е. на васянолапы не спишешь. По ощущениям - проблемная в плане надежности технология, со специфически высокими требованиями к эксплуатантам. Если у тебя нет прям _хороших_ специалистов на фуллтайм - лучше не связываться, как-то так.
     
     
  • 7.98, Аноним (98), 10:12, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    8 лет работает и работает, ну случаются факапы, где их нет, но никогда ничего не рушилось
     
     
  • 8.100, Tron is Whistling (?), 10:26, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, за 8 лет 3 14ца может при хорошем стечении обстоятельств просто не наступить... текст свёрнут, показать
     
  • 8.107, User (??), 11:51, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    1 Может повезло 2 Может - нагрузки нет специфичная п 1 3 Может - есть хор... текст свёрнут, показать
     
     
  • 9.114, Tron is Whistling (?), 14:09, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Угу, я их не могу не поддержать в этом самом очковании, да ... текст свёрнут, показать
     
  • 6.115, пох. (?), 14:41, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Не, у пох/наха к цефу особенно трепетное отношение. Особенно когда в связи с проксмосом
    > упоминается, там вообще наступает экстаз.

    ну да, оно в этой комбинации просто уникально выступило.

    > Видать что-то очень личное

    нет, просто та трагедь была очень хорошо задокументирована (и ты бы тоже про нее знал, если бы был инженером а не дол..ом)

    И там все было настолько прекрасно, что я как тот доктор - хорошо, великолепно, просто замечательно!

     
  • 5.117, Аноним (117), 19:51, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    тут один уже сделал
    https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/README-ru.md

    понятия не имею насколько оно соответствует

     
  • 3.31, Tron is Whistling (?), 10:36, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну, тут я вообще уже даже интересоваться не рискую :)
     
  • 3.90, User (??), 07:48, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    "Печатаю со скоростью 1000 знаков в минуту - ну и фигня получается!"(Ц)
     

  • 1.9, 12yoexpert (ok), 00:22, 21/01/2024 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –9 +/
     
  • 1.10, Аноним (-), 00:22, 21/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    > только в режиме максимальной производительности и отключить c-state

    ...и приготовить дохреналион долларов для энергокомпании, одобряющей такие рекорды :)

     
     
  • 2.15, Аноним (15), 00:41, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Они как раз в Германии базируются. Можно будет просто переехать в США, и сразу срежется больше половины расходов.
     
  • 2.34, Аноним (34), 10:50, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ты еще просто молод и не знаешь всех тонкостей. Это все полезно для взякийх хецнеров, у которых вагон клиентов локалост-адмнинов. Почитай доки у hp, dell и т.п. на предмет получения high performance и low latency методом тюнинга power profile и параметров cpu в самом bios/uefi. Откроешь для себя новый мир.
     
     
  • 3.130, onanim (?), 10:13, 26/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > ... Почитай доки у
    > hp, dell и т.п. на предмет получения high performance и low
    > latency методом тюнинга power profile и параметров cpu в самом bios/uefi.
    > Откроешь для себя новый мир.

    а на практике оказывается, что дофига умный биос (или BMC?) роняет частоту оперативы, если поставить модули одинаковой модели, но из РАЗНЫХ ПАРТИЙ, а в доках лишь скромно указано "Unbalanced memory configurations will result in a performance loss so always populate memory channels identically with identical DIMMs for best performance", но не сказано, что "identically" это ОДНА ПАРТИЯ ОДНОЙ МОДЕЛИ, а не просто одинаковая модель.
    вот это я открыл для себя новый мир, докупив в сервер идентичные планки к уже установленным.

     
  • 2.38, Аноним (38), 11:42, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Это для топовых ребят:
    https://opennet.ru/60108-top500
     
     
  • 3.51, BeLord (ok), 13:17, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +4 +/
    ИТ отрасль, где учиться надо от старта и до выхода в утиль, если постоянно не учишься, то знания быстро приходят в негодность. А учиться постоянно мало кто вывезет. Половина админов слабо представляют, как железо работает, хотя админят те же кластеры, куча программистов слабо понимаю архитектуру процессоров, а потом удивляются почему код такой-) Модерация слабо поможет, критерии очень размыты. Пример, я  имел опыт работы с FreeBSD c 1994 по 1999, значит ли это что я могу давать комментарии по фри? Как по мне знания устарели, да со временем много забывается, другой человек будет считать иначе. Или есть опыт написания драйверов под нестандартное железо для шины PCI, ну и что, то что это все работала под вынь и осьпополам в 96 году, не говорит же, что я программист сейчас-))
     
     
  • 4.55, BrainFucker (ok), 13:42, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > ИТ отрасль, где учиться надо от старта и до выхода в утиль, если постоянно не учишься, то знания быстро приходят в негодность. А учиться постоянно мало кто вывезет.

    Да, только я не про опыт, а про манеры общения. Во всех подобных околоайтишных раковниках контингент годами общается как гопота из подворотни. А знания тут ни при чём, когда специалист уже сеньор, ему больше софт скилы важны.

     
     
  • 5.65, Аноним (117), 17:07, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    брехня, Руководство всегда найдёт как обидеть.
     
  • 5.68, Аноним (68), 17:30, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Знания важны всегда. Софтскилз сеньёру нужен дополнительно когда знания нужно понести в массы и добавить к себе условный x10 полезности. Т.е. это уже переход от просто инженера к архитектору или техдиру
     
  • 5.69, OpenEcho (?), 17:33, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Во всех подобных околоайтишных раковниках контингент годами общается как гопота из подворотни.

    Гопота рядом не стояла, там принято за кривой базар рожу бить, а здесь все безнаказанка и дешевая душонка позволяет АйТи "гениям" хоть где то показать свою "крутость", - нагадить и убежать не битым

     
  • 5.81, Аноним (80), 21:50, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >общается как гопота из подворотни

    Простите, а где головастым (без иронии) нердам (немного иронии) ещё удастся задоминировать? В подворотне можно и по роже получить, а тут и безопасно, и можно слегка "причаститься" к тем самым дворовым пацанам, хотя бы на словах.

     
  • 5.94, Пряник (?), 09:44, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Скорее это ты попался на троллинг с отыгрышем.
     
  • 4.67, Аноним (68), 17:28, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >  Пример, я  имел опыт работы с FreeBSD c 1994 по 1999, значит ли это что я могу давать комментарии по фри?

    Можешь давать комментарии вообще по чему угодно, кто же запрещает

     
     
  • 5.70, OpenEcho (?), 17:37, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Можешь давать комментарии вообще по чему угодно, кто же запрещает

    здравый интелект у него запрещает

     

  • 1.41, Аноним (41), 12:08, 21/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Отключить cstate в биос? Т.е. догадаться для начала хотя бы через tuned выставить latency-профиль они не догадались, а в биос полезли? Не представляю себе биос для серверных материнок, где бы по умолчанию не был режим, в котором C-state можно управлять софтварно. Но нет, конечно, задуматься о том что выбрать подходящий под нагрузку профиль (или напрямую сменить режим cpupower/sysctl/и тп, tuned никакой магией не занимается, просто удобные пресеты настроек для включения в одну команду) они не догадались, зато решили поковыряться в биосе. Чудесно.
     
     
  • 2.43, Tron is Whistling (?), 12:22, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Софтварное управление C-state тоже имеет приличное время реакции.
    В критичных к latency системах - да, лучше отключать и ставить max performance, факт.
     
     
  • 3.111, Аноним (111), 13:08, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Понятно что имеет время реакции. Но их можно *отключить* соответствующим режимом энергопотребления, и на это есть готовый профиль tuned. И это работает сразу же, без манипуляций биосом от дефолта - что с точки зрения управления (ansible или что угодно) совсем не то же самое что идти перезагружать тачки и манипулировать биосом после каждого обновления (хотя, большинство серверных вендоров нынче умеют не терять изменения настроек при обновлении фирмвари - еще бы десктопным материнкам об этом только мечтать... Но большинство != все)
     
     
  • 4.112, 1 (??), 13:13, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > совсем не то же самое что идти перезагружать тачки и манипулировать биосом после каждого обновления

    Если это сервер, то у него есть IPMI (ну или KVMoIP для особо страждущих). Ходить никуда не надо.

     
  • 4.119, Tron is Whistling (?), 22:04, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    У делла даже есть варианты в заказе, когда по дефолту ставится max performance. И никуда идти не надо.
     
  • 2.102, 1 (??), 10:41, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Т.е. догадаться для начала хотя бы через tuned выставить latency-профиль они не догадались, а в биос полезли?

    А зачем догадываться ?
    Отключение C-Stated в BIOS для нагруженных серверов, штатная процедура - прописанная в инструкции. У меня орки это делают, сразу после распаковки. И думать о профилях нет никакого смысла.

     
  • 2.125, RM (ok), 15:56, 23/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    По феншую, т.е. low latency мануалам, как уже сказали, сначала BIOS а потом уже настройки системы.
    Как я понимаю - потому что P-States и C-States все же немного разные вещи.
    И tuned больше про первые, чем про вторые. Ну и у народа Epic, не интел.
    А также потому что процессоры нонче сильно умные и так и норовят power state promotion сделать на аппаратном уровне.
     

  • 1.44, InuYasha (??), 12:28, 21/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Мне интересно только - кто юзер. Минэнерго США? ЦЕРН? Или какие-то другие враги народов?
     
     
  • 2.48, пох. (?), 13:10, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Церн оказался круче и там в конце статьи ссылка на его собственное аналогов не имеющее (не тратьте клик - оно а-ля гластер разворачивается поверх xfs и только xfs - видимо так же хранит все лишние детали в ее EA, но при этом а-ля цеф требует отдельных демонов для меты, для дисков и для управления, и так же использует роксдряньбазу - но обычную, в файликах. То есть небольшой шанс потом вручную собрать когда оно рухнет остается, наверное, но вы этого точно не хотите)

    У минэнерго скорее всего нет столько ненужных данных в таком количестве, и они свои складывают на обычные полки.

    Тут пахнет ностоящей ноукой, где все нахаляву и в любых количествах.

     
     
  • 3.50, Tron is Whistling (?), 13:15, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Роксдб - это вообще отдельная тема.
    Я с трудом понимаю, как люди вообще в это рискуют что-то более-менее ценное складывать.
     
     
  • 4.54, пох. (?), 13:37, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    изначально видимо архитекторами хефа предполагалось что от нее требуется максимум скорости а ничего ценного в конкретном OSD нет и его можно целиком потерять.
    ЦЕРН выступил круче и у них там лежит кэш? метаданных. Короче хз что у них там происходит при потере QDB или мусоре в базе - настолько детально лезть в их записки на манжетах (приличной документации как обычно нет) неохота. Возможно всеобщий амбец.

     
  • 4.91, Аноним (91), 07:56, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    чо с ним не так?
     
     
  • 5.92, Tron is Whistling (?), 08:54, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > чо с ним не так?

    Гуглите rocksdb corruption.

     
     
  • 6.118, Аноним (117), 19:54, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    оно?

    https://rocksdb.org/blog/2022/07/18/per-key-value-checksum.html

    пишуть что всё хорошо

    To prevent and detect corruption, RocksDB has several consistency checks

     
  • 3.53, InuYasha (??), 13:35, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Я уже потратил нечто гораздо большее чем клик на этот гадюшник, но спасибо.

    А может и не наукой, а корпоративной бигдатой типа алфавита..?

     
     
  • 4.56, пох. (?), 13:49, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    ненене, мы ее не для того собирали чтоб так просто лишиться.

    Ну и алфавит не станет заказывать у стремной конторы сетап, а наловит в индийских джунглях еще полторы сотни разработчиков и удивит нас еще какой-нибудь новой бжней.

     
  • 3.105, Аноним (108), 11:19, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А вроде раньше церн как раз ceph использовали.
     
  • 2.95, Пряник (?), 09:46, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Откуда такая одержимость экономией энергией?
     
     
  • 3.129, электронщег (?), 16:10, 24/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А кто говорит про экономию энергии? Министерство энергетики США занимается куда более мрачными делишками ;)
     

  • 1.45, X86 (ok), 12:44, 21/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Сколько ошибок в слове терабайт с хвостиком)
     
     
  • 2.52, пох. (?), 13:28, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    это ж текущий статус - а у этих самураев нет цели, только путь.

     

  • 1.59, Аноним (59), 15:10, 21/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    неужели у них эта пропускная способность настолько точно определена, что в переводе новости нельзя Тб по-человечески назвать терабайтом?
     
     
  • 2.71, Аноним (-), 18:15, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Разница между терабайтом и тибибайтом ~10%. Так что да, пропускная способность определена настолько точно.
     

  • 1.72, JL2001 (ok), 18:58, 21/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    интересно

    > При задействовании кодов коррекции ошибок EC62 пропускная способность составила 547 GiB/s при чтении и 387 GiB/s при записи (скорость записи оказалась выше чем без кодов коррекции)

     
     
  • 2.73, нах. (?), 19:15, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ничего интересного - они ж с 3x сравнивают. Разумеется запись того же самого объема на шесть дисков (или даже на 4 - понятия не имею как правильно читать ихнее 62, нормальные люди во избежание разночтений пишут 6+2) будет быстрее чем на один, и даже с учетом восьмушек дополнительно.

     
  • 2.85, Tron is Whistling (?), 22:32, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Естественно.
    3 реплики = трёхкратный объём записи (и передачи по сети соответственно) на каждый актуальный записанный блок

    6+2 RS = 1.33 объёма на каждые 6 актуальных последовательных блоков

    Правда при рандомной записи не по границе блока могут быть сюрпризы

     

  • 1.75, Аноним (75), 20:20, 21/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    > При задействовании кодов коррекции ошибок EC62

    Что это за тип ECC? Не гуглится, всё что находится это какая-то InfiniBand сетевушка от IBM.

     
     
  • 2.83, Tron is Whistling (?), 22:30, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это какое-то презетное или в узкой среде принятое название профиля, я так понял.
    Код Рида-Соломона, k=6, m=2, на каждые 6 блоков добавляются 2 избыточных.
    Банальный RAID 6 из 8 юнитов (6+2), короче.
     
  • 2.87, Sw00p aka Jerom (?), 22:37, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    https://en.wikipedia.org/wiki/Erasure_code

    6+2

     
  • 2.88, Sw00p aka Jerom (?), 22:41, 21/01/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    https://ceph.io/en/news/blog/2014/erasure-coding-in-ceph-2/

    вот тут собственно по сабжу

     

  • 1.96, Пряник (?), 09:48, 22/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ceph это скорее не про скорость, а про доступность, облачность и надёжность.
     
     
  • 2.103, 1 (??), 10:46, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Первые два - да ...
    С третьим есть куда стремиться.
     

  • 1.104, Аноним (108), 11:16, 22/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ceph can be very slow when not properly compiled with TCMalloc support.

    Где в оригинале говорится что нужно отключить tcmalloc?

     
     
  • 2.106, Аноним (108), 11:24, 22/01/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Нашел, да есть такое.
     

  • 1.120, Мухорчатый (?), 22:19, 22/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Хотел тут на редосе ceph запустить. Не суперпроизводительный, а самый обыкновенный. Угадайте - получилось или нет? ))))
     
     
  • 2.123, Аноним (91), 10:54, 23/01/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    чо за reDOS ?
     
  • 2.127, fyjybv (?), 16:10, 23/01/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ты, наверное, не пользовался cehpadm (так как система не входит в список официально поддерживаемых платформ), а ставил из официального репозитория с помошью встроенного пакетного менеджера и поэтому у тебя все получилось.
    Ведь ни один нормальный человек не станет компилять из tar.gz.
     

  • 1.128, Аноним (128), 00:01, 24/01/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А накатит патчик из новости про планировщик (https://www.opennet.ru/opennews/art.shtml?num=60474) - ещё быстрее полетит)
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру