The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Оптимизация Linux для обработки 1.2 млн JSON-запросов в секунду

21.05.2021 07:21

Опубликовано детальное руководство по тюнингу окружения Linux для достижения максимальной производительности обработки HTTP-запросов. Предложенные методы позволили поднять производительность обработчика JSON на основе библиотеки libreactor в окружении Amazon EC2 (4 vCPU) c 224 тысяч запросов API в секунду при штатных настройках Amazon Linux 2 с ядром 4.14 до 1.2 млн запросов в секунду после проведения оптимизации (прирост 436%), а также привели к сокращению задержек при обработке запросов на 79%. Предложенные методы не специфичны для libreactor и работают при использовании других http-серверов, включая nginx, Actix, Netty и Node.js (libreactor использовался в тестах, так как решение на его основе показало лучшую производительность).

Основные оптимизации:

  • Оптимизация кода libreactor. В качестве основы был использован вариант R18 из набора Techempower, который был улучшен путём удаления кода для ограничения числа используемых ядер CPU (оптимизация позволила ускорить работу на 25-27%), сборки в GCC с опциями "-O3" (прирост 5-10%) и "-march-native" (5-10%), замены вызовов read/write на recv/send (5-10%) и снижения накладных расходов при использовании pthreads (2-3%). Общий прирост производительности после оптимизации кода составил 55%, а пропускная способность возросла с 224k req/s до 347k req/s.
  • Отключение защиты от уязвимостей, вызванных спекулятивным выполнением инструкций. Использование параметров при загрузке ядра "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off" позволило поднять производительность на 28%, а пропускная способность возросла с 347k req/s до 446k req/s. В отдельности прирост от параметра "nospectre_v1" (защита от Spectre v1 + SWAPGS) составил 1-2%, "nospectre_v2" (защита от Spectre v2) - 15-20%, "pti=off" (Spectre v3/Meltdown) - 6%, "mds=off tsx_async_abort=off" (MDS/Zombieload и TSX Asynchronous Abort) - 6%. Оставлены без изменения настройки для защиты от атак L1TF/Foreshadow (l1tf=flush), iTLB multihit, Speculative Store Bypass и SRBDS, которые не влияли на производительность, так как не пересекались с тестируемой конфигурацией (например, специфичны для KVM, вложенной виртуализации и других моделей CPU).
  • Отключение механизмов аудита и блокировки системных вызовов при помощи команды "auditctl -a never,task" и указания опции "--security-opt seccomp=unconfined" при запуске контейнера docker. Общий прирост производительности составил 11%, а пропускная способность возросла с 446k req/s до 495k req/s.
  • Отключение iptables/netfilter через выгрузку связанных с ними модулей ядра. К идее отключить межсетевой экран, который не использовался в специфичном серверном решении, подтолкнули результаты профилирования, судя по которым на выполнение функции nf_hook_slow уходило 18% времени. Отмечается, что nftables работает более эффективно, чем iptables, но в Amazon Linux продолжает использоваться iptables. После отключения iptables прирост производительности составил 22%, а пропускная способность возросла с 495k req/s до 603k req/s.
  • Снижение миграции обработчиков между разными ядрами CPU для повышения эффективности использования процессорного кэша. Оптимизация была произведена как на уровне привязки процессов libreactor к ядрам CPU (CPU Pinning), так и через закрепление сетевых обработчиков ядра (Receive Side Scaling). Например, выполнено отключение irqbalance и явное выставление привязок очередей к CPU в /proc/irq/$IRQ/smp_affinity_list. Для использования одного и того же ядра CPU для обработки процесса libreactor и сетевой очереди входящих пакетов задействован собственный BPF-обработчик, подключённый через установку флага SO_ATTACH_REUSEPORT_CBPF при создании сокета. Для привязки к CPU очередей исходящих пакетов изменены настройки /sys/class/net/eth0/queues/tx-<n>/xps_cpus. Общий прирост производительности составил 38%, а пропускная способность возросла с 603k req/s до 834k req/s.
  • Оптимизация обработки прерываний и использование полинга (polling). Включение режима adaptive-rx в драйвере ENA и манипуляции с sysctl net.core.busy_read позволили поднять производительность на 28% (пропускная способность возросла с 834k req/s до 1.06M req/s, а задержки снизились с 361μs до 292μs).
  • Отключение системных сервисов, приводящих к лишним блокировкам в сетевом стеке. Отключение dhclient и установка IP-адреса вручную привела к повышению производительности на 6%, а пропускная способность возросла с 1.06M req/s до 1.12M req/s. Причина влияния dhclient на производительность в анализе трафика с использованием raw-сокета.
  • Борьба со Spin Lock. Перевод сетевого стека в режим "noqueue" через sysctl "net.core.default_qdisc=noqueue" и "tc qdisc replace dev eth0 root mq" привёл к приросту производительности на 2%, а пропускная способность возросла с 1.12M req/s до 1.15M req/s.
  • Финальные мелкие оптимизации, такие как отключение GRO (Generic Receive Offload) командой "ethtool -K eth0 gro off" и замена алгоритма контроля за перегрузкой cubic на reno при помощи sysctl "net.ipv4.tcp_congestion_control=reno". Общий прирост производительности составил 4%. Пропускная способность возросла с 1.15M req/s до 1.2M req/s.

Кроме сработавших оптимизаций, в статье также рассматриваются методы, которые не привели к ожидаемому росту производительности. Например, неэффективными оказались:

  • Отдельный запуск libreactor не отличался в производительности от запуска в контейнере. Не оказали влияния замена writev на send, увеличение maxevents в epoll_wait, эксперименты с версиями и флагами GCC (эффект был заметен только для флагов "-O3" и "-march-native").
  • Не повлияло на производительность обновление ядра Linux до версий 4.19 и 5.4, использование планировщиков SCHED_FIFO и SCHED_RR, манипуляции с sysctl kernel.sched_min_granularity_ns, kernel.sched_wakeup_granularity_ns, transparent_hugepages=never, skew_tick=1 и clocksource=tsc.
  • В драйвере ENA не повлияло включение режимов Offload (segmentation, scatter-gather, rx/tx checksum), сборка с флагом "-O3" и применение параметров ena.rx_queue_size и ena.force_large_llq_header.
  • Не привели к повышению производительности изменения в сетевом стеке:
    • Отключение IPv6: ipv6.disable=1
    • Отключение VLAN: modprobe -rv 8021q
    • Отключение проверки источника пакета
      • net.ipv4.conf.all.rp_filter=0
      • net.ipv4.conf.eth0.rp_filter=0
      • net.ipv4.conf.all.accept_local=1 (негативный эффект)
    • net.ipv4.tcp_sack=0
    • net.ipv4.tcp_dsack=0
    • net.ipv4.tcp_mem/tcp_wmem/tcp_rmem
    • net.core.netdev_budget
    • net.core.dev_weight
    • net.core.netdev_max_backlog
    • net.ipv4.tcp_slow_start_after_idle=0
    • net.ipv4.tcp_moderate_rcvbuf=0
    • net.ipv4.tcp_timestamps=0
    • net.ipv4.tcp_low_latency=1
    • SO_PRIORITY
    • TCP_NODELAY


  1. Главная ссылка к новости (https://talawah.io/blog/extrem...)
  2. OpenNews: Руководство по тюнингу файловых систем Linux для Flash-накопителей
  3. OpenNews: Оценка способности сетевого стека Linux обрабатывать миллион пакетов в секунду
  4. OpenNews: Предложенная Google программная защита от атаки LVI показала снижение производительности в 14 раз
  5. OpenNews: Эксперимент по настройке Linux для блокирования 10 млн пакетов в секунду
  6. OpenNews: Сравнение производительности сетевого драйвера в вариантах на 10 языках программирования
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/55186-performance
Ключевые слова: performance, linux, optimization, tune
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (174) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Леголас (ok), 08:56, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –9 +/
    > Отключение защиты от уязвимостей, вызванных спекулятивным выполнением инструкций

    отличное решение

     
     
  • 2.10, Аноним (10), 09:25, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +45 +/
    Зачем вам защита от Spectre на сервере, на котором выполняется только ваш собственный процесс? Вы же там чужой код и браузер не запускайте.
     
     
  • 3.23, YetAnotherOnanym (ok), 09:48, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –7 +/
    > только ваш собственный процесс
    > в окружении Amazon EC2

    Не знал, что омерзон даёт каждому клиенту отдельный физический сервер.

     
     
  • 4.40, Аноним (10), 10:13, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +18 +/
    При рассматриваемой интенсивности обработки запросов все атаки по сторонним каналам бессмысленны из-за зашумлённости, их разве что можно в лабораторных условиях воспроизвести, где кроме кода жертвы и атакующего ничего не выполняется. И даже в идеальных условиях защита от cross-VM утечек нужна на стороне гипервизора, а не гостевого окружения.
     
     
  • 5.49, Аноним (49), 10:49, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +9 +/
    Про Spectre раньше так говорили в принципе, пока реальные эксплоиты не появились.
     
  • 5.70, Аноним (70), 12:05, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Но интенсивность запросов может иногда и снижаться до приемлемого для анализа по сторонним каналам уровня. В зависимости от времени суток, времени года, и т.д.
     
     
  • 6.134, Кирилл (??), 20:56, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Попытка атаки будет очень заметна в графике производительности, особенно с учётом того, что они там привязались к ядрам (очевидно физическим, я хз как, но смысл привязываться к виртуальным?). Им всего то надо держать высокую загрузку серверов и останавливать простаивающие контейнеры для экономии денег.
     
  • 3.24, Аноним (24), 09:49, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Откуда ты знаешь?
     
  • 3.29, _hide_ (ok), 09:53, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    В браузере уже вшиты средства защиты с "плавающими задержками", которые очень сильно затрудняют несанкционированный доступ к памяти.
     
     
  • 4.59, _unhide_ (?), 11:24, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    новость про сервер, а доступ к серверу не обязательно через браузер
     
  • 2.11, Аноним (11), 09:27, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +6 +/
    В большинстве случаев эта защита и не нужна
     
     
  • 3.78, Аноним (78), 12:37, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +6 +/
    да-да-да, кл-ко-ко, местные знатоки IT подъехали
     
     
  • 4.130, Аноним (130), 20:13, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это ты так себя вызываешь?
     
  • 3.135, Кирилл (??), 20:58, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Мне кажется крупный инфраструктурный сервис - как раз то место, где защита нужна.
     
     
  • 4.163, Аноним (163), 18:11, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    AWS и так с этой секурной фигней, зачем ее рекурсивно включать еще внутри?
     
  • 2.171, жоннн (?), 11:01, 23/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    наши кодеры вручную могу 3 млн сделать
     

  • 1.2, Аноним (2), 08:58, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +11 +/
    >Отключение dhclient и установка IP-адреса вручную привела к повышению производительности на 6%, а пропускная способность возросла с 1.06M req/s до 1.12M req/s.

    интересно, это как, за счёт чего? dhclient один раз получил айпи и дальше спит всё время

     
     
  • 2.4, Аноним (4), 09:02, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Спит и потребляет ресурсы. Вот гад.
     
  • 2.7, Василий (??), 09:08, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –6 +/
    ВОЗМОЖНО это связано со сроком аренды от сервера DHCP. Клиент, получивший сетевые настройки, ОБЯЗАН по истечении половины срока аренды снова обратиться к серверу DCHP. Если срок аренды короткий, то, возможно, клиент часто обращается к DHCP серверу, что, каким-то образом, негативно влияет на производительность по сравнению со  static IP.
    https://selectel.ru/blog/dhcp-protocol/
     
     
  • 3.19, ryoken (ok), 09:45, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +21 +/
    >> https://selectel.ru/blog/dhcp-protocol/
    > Например, администратор может задать диапазон используемых IP-адресов от 192.0.0.10 до 192.0.0.400.

    мде...

     
     
  • 4.67, Аноним (67), 11:55, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –8 +/
    лень читать, вкратце перескажите что "мде", пожалуйста
     
     
  • 5.73, Andrii (?), 12:10, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Что это за адрес такой 192.0.0.400 ?
     
     
  • 6.77, Аноним (78), 12:36, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –11 +/
    некто ryoken, чё сложно что ли сразу написать про 400? иди-ка сделай что делают за 300
     
  • 5.100, Жироватт (ok), 14:34, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    БАЙТ
    РАЗМЕР БАЙТА
    Хе.
     
     
  • 6.113, ыы (?), 16:02, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >Например, администратор может задать диапазон .... до 192.0.0.400.

    А собственно с чего смешки то?
    Задать - может и может :)

     
     
  • 7.114, ыы (?), 16:06, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Да и вообще что мы знаем о способностях администраторов selectel.ru ?
    Может они переписали сетевой стэк на dword и баста...их сети, что хотят то и делают...
     
  • 4.74, Аноним (74), 12:12, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Скорее всего опечатка, там дальше по тексту видно что до 200
     
     
  • 5.140, Dzen Python (ok), 23:57, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    192. 0 .0. 400
    Две ошибки в одном адресе. Доннер веттер!
     
  • 2.30, Аноним (30), 09:55, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +14 +/
    Скорее всего рн держит открытый raw сокет в прицепленым к нему bpf фильтром, что и вызывает массу ненужных действий внутри ядра.
     
     
  • 3.115, mumu (ok), 16:23, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Надеюсь кто-то решит эту проблему. Использование dhcp на серверах это хороший тон в администрировании, и то что они все сейчас из-за этого хоть немного, но тормозят, уже не делает мой сон настолько сладким.
     
     
  • 4.131, Аноним (130), 20:16, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Выкинуть на мороз все ваши bpf
     
     
  • 5.144, Аноним (144), 06:29, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И станет еще тормознее. Экспертов по сетевому стеку линукса подвезли
     
     
  • 6.156, Аноним (156), 13:42, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Экспертов по сетевому стеку линукса подвезли

    Ну, с прибытием, чё.

     
  • 4.139, anonymous (??), 23:47, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    DHCP -- это хорошо для provisioning-а. Но использовать его на постоянной основе на серверах -- это достаточно спорное решение. И вовсе не из-за производительности, а из-за reliability.
     

  • 1.3, Аноним (4), 09:01, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +11 +/
    Выключаем оптимизации от дыр в процессоре и все работает быстрее. Кто бы мог подумать.
     
     
  • 2.141, B (?), 00:07, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Они наконец стали BDS догонять. Но ещё много работы...
     

  • 1.5, Catwoolfii (ok), 09:03, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    >Отключение системных сервисов, приводящих к лишним блокировкам в сетевом стеке. Отключение dhclient и установка IP-адреса вручную привела к повышению производительности на 6%, а пропускная способность возросла с 1.06M req/s до 1.12M req/s.

    LOL. Вообще вот это все для чего? Для бенчмарков или для production?

     
     
  • 2.22, нах.. (?), 09:47, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +13 +/
    для prodiction, но не твоего, васян, а пейсбука.

    Когда у тебя ряд из сотни стоек, то 6% - это минус шесть стоек под той же нагрузкой. Каждая из которых стоит больше, чем все твои почки, печенка и прочий ливер, даже если они еще и годятся для донорства, а не только на рояльканин.

    Ну и да, прикольно, однако, получилось. То есть интуитивно, конечно, всегда считал dhcp для серверов исключительно унылым г-ном, но такого совершенно не ожидал. (ну а чо вы хотите, он же, помнится, любитель raw socket?)

     
     
  • 3.27, Аноним (24), 09:52, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да эти шкафы от стоек как чемоданы без ручки. Когда нужны их нет, а когда стоят без дела не знаешь кому их отдать.
     
     
  • 4.33, нах.. (?), 10:00, 21/05/2021 Скрыто ботом-модератором     [к модератору]
  • –3 +/
     
  • 4.79, YetAnotherOnanym (ok), 12:40, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Я с удовольствием заберу, если оно им так мешает. Самовывозом,  даже на демонтаж готов из своих заплатить.
     
  • 4.151, Брат Анон (ok), 09:52, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Подари мне лишние. У меня лишних нет. Майнить не на чем. Как подаришь -- побегу к соседям лектричество выпрашивать не ставя соседей в известность.
     
  • 3.64, DildoZilla (?), 11:43, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    100 дорогущих стоек купили и из-за 6 жмутся? Смузиброды!
     
     
  • 4.152, Брат Анон (ok), 09:53, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Гретта в бешенстве!!
     
  • 3.132, Аноним (130), 20:19, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну и ты конечно нам расскажеш про хорошую и безопасную замену dhcp сервера?
     
  • 3.146, ewdoror (?), 07:31, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    а когда у тебя 100 вагонов с золотом, то это целых 6 вагонов с золотом
    6% это всегда 6%
     
  • 3.172, penetrator (?), 00:45, 24/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    я смотрю 12 человек освоило матиматику и знает что такое 6%

    но потом пейсбук вводит новую функцию, на которую нужно еще 100 шкафов, и почти все старые оптимизации становятся бессмысленны.

    а дальше очередной раунд оптимизаций... за цену оптимизаторов можно девелоперам накинуть, чтобы говна поменьше писали, самый маржинальный прирост производительности - архитектурный.

    это не оптимизация CRC16 в линухе, которая никогда не поменяется, и то могут быть нюансы для разных процессорных архитектур.

     
     
  • 4.173, нах.. (?), 11:10, 24/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    не становятся - повторю, именно поэтому к шкафу и прикован инженер, настоящий, н... большой текст свёрнут, показать
     
     
  • 5.174, penetrator (?), 11:21, 24/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    это все верно, но для низковолатильной системы, чет я сомневаюсь что пейсбук именно такой, хотя может развитие и остановилось, но в прогресирующих системах следующие 100 шкафов просто факт


    P.S. народ подскажите лучше какие есть альтернативы LUKS+dmcrypt для FDE, сильно проседает производительность дисковой подситемы, теряем около 30-40%

     
     
  • 6.175, нах.. (?), 11:26, 24/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > прогресирующих системах следующие 100 шкафов просто факт

    у пейсбука это не 100, а скорее 1000 на самую мелкую доработку алгоритмов слежки. И да, экономия даже 60 из них - вполне оправдают содержание одного приличного раба.

    А там на самом деле куда больше наэкономилось.

     

  • 1.6, Аноним (6), 09:07, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересное исследование, добавил в закладки
     
  • 1.8, pin (??), 09:21, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +12 +/
    > который был улучшен путём удаления кода для ограничения числа используемых ядер CPU

    Гениально.

     
  • 1.9, Аноним (9), 09:22, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    а потом они откроют для себя gentoo, и окажется что правильной компиляцией с подходящим списком зависимостей, можно повысить производительность до аналогичного уровня не отключая защиты
     
     
  • 2.13, Аноним (13), 09:32, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +16 +/
    то есть после отключения будет ещё быстрее?
     

  • 1.12, Агл (?), 09:28, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    заморочились. кому-то может сэкономить время, иначе потраченное на бесполезный вариант оптимизации
     
     
  • 2.69, ыы (?), 12:04, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    кто "заморочилИСЬ"?

    чувак сидел дома в изоляции от ковида, писал статьи, ему было скучно...

     

  • 1.14, Аноним (14), 09:35, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Предложенные методы не специфичны для libreactor
    > Пункт 1. Оптимизация кода libreactor. Общий прирост производительности после оптимизации кода составил 55%.

    Это шутка такая?

    > Отключение защиты от уязвимостей
    > Отключение механизмов аудита

    В чем собственно, тогда цель исследования? Посмотреть насколько это губит производительность? Или что? Изначально было понятно, что это всё не бесплатно и пагубно влияет на производительность.

     
     
  • 2.16, Аноним (16), 09:39, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Цель исследования - как делать больше бабок на меньшем числе серверов.
     
     
  • 3.21, YetAnotherOnanym (ok), 09:46, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > как дать возможность неведомым майнерам делать больше бабок на любом числе ваших серверов.

    пофиксил

     
     
  • 4.101, Жироватт (ok), 14:36, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > как дать возможность неведомым GraceLoverBear сливать больше инфы на любом числе ваших серверов.

    Фикс фикса

     
  • 3.54, ыы (?), 11:14, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Если вы, и вот автор которому вы отвечаете, наконец прочтете текст исследования - то узнаете что автор исследования делал это для собственного развлечения.
    "just for fun"
    Вот так вот...
     
  • 2.31, нах.. (?), 09:56, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    и выключить то, что влияет сильно, оставив безобидное, да изначально это был бы... большой текст свёрнут, показать
     
     
  • 3.51, evk (??), 10:59, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Мне еще понравился прирост от привязки к ядрам.
    Сейчас это слишком трудно делается.
    Показан не теоретический, а конкретный и значительный прирост.
    Это явное место развия ядра, предоставление простых механизмов привязки процессов.
     
     
  • 4.55, ыы (?), 11:17, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да нет там  никакой привязки. смотрите текст исследования.

    Чувак запустил htop и обнаружил что программа использовала только два ядра из 4-х. задался вопросом зачем?? Может быть авторы таким образом пытались избавится от переключения контента, от снижения конкурентного доступа на ядрах... Он в качестве пробы убрал этот код...

     
  • 4.60, нах.. (?), 11:30, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    похоже, какая-то личная проблема именно этого пейсбукосервера Я не добился вза... большой текст свёрнут, показать
     

  • 1.15, Аноним (16), 09:38, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >> при запуске контейнера docker

    Я знаю где ещё достать 146% производительности, удалив одну прокладку

     
     
  • 2.18, YetAnotherOnanym (ok), 09:44, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Без докера не модно.
     
  • 2.44, Леголас (ok), 10:20, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +7 +/
    > Отдельный запуск libreactor не отличался в производительности от запуска в контейнере

    весь текст не осилили?

     
     
  • 3.52, evk (??), 11:01, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вы тоже не осилили.
    >Отключение механизмов аудита и блокировки системных вызовов при помощи команды "auditctl -a never,task" и указания опции "--security-opt seccomp=unconfined" при запуске контейнера docker. Общий прирост производительности составил 11%, а пропускная способность возросла с 446k req/s до 495k req/s.

    Мне кажется проще его выключить

     
     
  • 4.56, ыы (?), 11:20, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/

    Я прочитаю это за Вас и скопирую сюда:

    "Отдельный запуск libreactor не отличался в производительности от запуска в контейнере" (с)

    Не благодарите...

     
     
  • 5.58, Леголас (ok), 11:24, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    благодарствую
     
  • 5.86, Rev (?), 13:08, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    То есть они сначала у контейнера отключили аудит и безопасность, а уже потом пробовали запускать в этом контейнере и без него? :)))
     
     
  • 6.98, ыы (?), 14:26, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    скажите тогда уж в чем шутка, чтоб все посмеялись...А то как-то странно выглядят смайлики в этом месте.
     
  • 6.106, нах.. (?), 15:18, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > То есть они сначала у контейнера отключили аудит и безопасность, а уже потом пробовали запускать
    > в этом контейнере и без него? :)))

    ага. Напоминает любимое Оленем исследование "неэффективности закрытия общественного транспорта как карантинной меры". Ага, абсолютно никакого эффекта не дает - во всех проверенных исследователями случаях (когда транспорт закрывали уже ПОСЛЕ того как оцелопы п-ли дубинкой за попытку высунуть нос из квартиры - и до него уже давно никто просто не доходил).

    А так-то да, неплохой подсчет потерь эффективности на докер в докере под докером. Похоже, как бы не больше чем от паравиртуализации получается.

     
  • 6.107, Аноним (107), 15:42, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Контейнеры не столько для безопасности, сколько для повторяемости результата на других железках.
     
     
  • 7.112, ыы (?), 15:57, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    они вообще не про безопасность. они про развертывание и воспроизводимость...
     
  • 4.62, нах.. (?), 11:35, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Мне кажется проще его выключить

    Вероятно, пейсбук не умеет в rpm ;-) [dpkg или что там у них]
    Еще и host networking до кучи, ага.

     

  • 1.17, YetAnotherOnanym (ok), 09:43, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > Оптимизация кода libreactor

    А это точно "оптимизация Linux"?
    > Отключение защиты от уязвимостей
    > Отключение механизмов аудита и блокировки
    > Отключение iptables/netfilter

    Осталось выставить соответствующие сервисы голой дупой в Интернет и ждать гостей.

     
  • 1.20, Анонус (?), 09:45, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    На картинке Actix производительнее, чем Nginx. Это что же, сишечка слила ржавому по скорости??
     
     
  • 2.47, Shatur (ok), 10:42, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Наоборот же, nginx быстрее оказался.
     

  • 1.25, Онаним (?), 09:49, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    - Скорость набора какая?
    - 9000 знаков в минуту.
    - Разве можно с такой скоростью печатать?
    - Конечно можно, правда такая херня получается!
     
  • 1.26, нах.. (?), 09:51, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Кстати, интересно, а как им удалось при использовании ненужнодоскер избавиться от iptables?

     
     
  • 2.53, Аноним (53), 11:10, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вероятно что "--network host"
     
     
  • 3.61, нах.. (?), 11:33, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Вероятно что "--network host"

    и по одному контейнеру на хост? Нда, я бы докер выбросил еще предыдущим ходом.


     

  • 1.28, anonymous (??), 09:52, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +8 +/
    Т.е. 28% производительности процессора у нас украл его изготовитель, встроив уязвимость, от которой необходимо защищаться такой большой ценой
     
     
  • 2.32, нах.. (?), 09:57, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –10 +/
    Белка-истеричка, ты ее сама у себя "украла", включив защиту от того, чего быть не может.
     
     
  • 3.157, Аноним (156), 13:43, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Дол!@#б шт0ле, с-ка? Заshitу завезли превентивно, тебя не спросили. Теперь выковыривай ее полностью из ведра ручками, не забудь предварительно в аптеке Визином(tm) запастись.
     
     
  • 4.160, нах.. (?), 14:38, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    там чувак песни пел про проклятуууущих производителей процессоров, не ты, надеюс... большой текст свёрнут, показать
     

  • 1.35, 1 (??), 10:04, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Хммм ... Не думал, что на Linux файервол настолько дорог. Интересно бы сравнить с pf и ipfw
     
     
  • 2.45, нах.. (?), 10:25, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –5 +/
    > Хммм ... Не думал, что на Linux файервол настолько дорог.

    это для пейсбука он "настолько". Ты, скорее всего, даже и не заметишь разницу.

    > Интересно бы сравнить с pf и ipfw

    сравнивай, методику тебе выложили. Предвижу отвратительные результаты у обоих, эффективность ни разу не их конек.
    Но, опять же, актуально для пейсбуков. Все остальные не сумеют обнаружить разницу на своем реальном траффике.


     
  • 2.165, Аноним (-), 21:10, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    На фряхе он оказался ещё дороже Я как лох повёлся на бздишный хайп и взял VPSку... большой текст свёрнут, показать
     
     
  • 3.178, братюня анонов (?), 13:03, 24/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А не судьбы была либо взять готовое решение из *sense-семейства (pfsense или opnsense)?

    Или хотя бы погуглить на тему "freebsd natd" и прочитать сответствующий материал (аж десятилетней давности) на том же хабре - https://habr.com/ru/post/111580/
    Где, в частности, в конце есть сравнения - и они точно не в пользу natd.
    И комментарии там есть вполне информативные в обсуждении.

    Так чтааа, панимаишь - кулст0ри бр0, пеши исч0.

     
     
  • 4.180, нах.. (?), 13:02, 28/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    тем не менее, несколько десятков мегабит там вполне намеряли, вовсе не килобиты, причем на железе десятилетней давности и вряд ли особо пафосном - так что тут что-то не так. Либо с vps, либо с провайдером.

    Ну а в принципе, когда там появился ipfw nat без divert socket (остальные глюкала я настоятельно не советую даже пробовать) - лет пятнадцать тому? Надо ж иногда и обращать внимание на дату копипасты, которую себе копируешь из вопроса, не дочитав до ответа.

     

  • 1.39, Аноним (39), 10:10, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    интересно, а что надо подкрутить на моём двухядерном корче (athlon 5000+ и nvidia 8100) что бы то же 5 раз ускорить?
    ssdшку поставил, рамы 4, xubuntu
    какой там параметр ядра надо поковырять?
     
     
  • 2.43, Аноним (43), 10:18, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Поставить генту (арч отстой) и крутить его до полного просветления.
     
     
  • 3.46, Аноним (39), 10:27, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Просветления, что пора покупать новый пк?
     
  • 2.50, Аноним (50), 10:54, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    там же написано
    >Использование параметров при загрузке ядра "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off" позволило поднять производительность
     
  • 2.71, Anonim (??), 12:07, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Поставить арч (генту отстой) и крутить его до полного просветления.

     
     
  • 3.81, Аноним84701 (ok), 12:50, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Поставить арч

    Купить козу (с) (а через месяц -- продать).


     
  • 2.75, Аноним (70), 12:21, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >рамы 4

    Это норма 10 лет назад давности. Сейчас норма на стационарнике - 16. Так что для тюнинга поставь, как минимум, 32.

     
     
  • 3.105, Vlad violentiy (?), 14:55, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    ага, ддр2, 16 гигов рамы.
    там планку на 4гб найти невозможно
     
  • 3.133, Ууууу... (?), 20:24, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Мне на восьми уже 10 лет нормально, думаю ещё года 3-4 тоже будет нормально.
     

  • 1.41, Нанобот (ok), 10:13, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    > замены вызовов read/write на recv/send (5-10%)

    в жизни бы не догадался, что это может влиять

    > Не повлияло на производительность обновление ядра Linux до версий 4.19 и 5.4

    и таким образом лишили многих линуксоидов смысла жизни

     
     
  • 2.42, Аноним (43), 10:18, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Зато падение до 2.6 дает прирост, но там докер может сделать ручкой.
     
     
  • 3.63, нах.. (?), 11:41, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Зато падение до 2.6 дает прирост, но там докер может сделать ручкой.

    не факт, посмотри на героическую борьбу со спинлоками, и учти что 2.6 это времена двухпроцессорных петниумовпро.

    Тогда никто вообще не заморачивался подобными оптимизациями, внутри ядра в том числе.


     
  • 2.76, Аноним (70), 12:23, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Наоборот, добавило уверенности, что новые ядра не медленнее старых.
     

  • 1.48, Аноним (48), 10:48, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    нуу... если они из кода уберут if/else... могут еше прибавить...
     
     
  • 2.65, eganru (?), 11:53, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    если они из кода уберут if/else - дешевле отказаться от json в сторону бинарных форматов, чем оптимизировать по if/else.
     
  • 2.103, Vlad violentiy (?), 14:52, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    if/else решает предсказатель переходов, который попадает в 98% случаев (да, конечно, если вероятность предсказания увеличить до 99.9, то можно увеличить производительность на процентов 5-10-15, но это почти невозможно)
    если уже так глубоко копать и мы говорим про приложение - надо смотреть и оценивать задержки по памяти через манипуляции с L1/L2/L3 кешем, но виртуализация
     
  • 2.136, Аноним (-), 21:28, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    или не могут. https://habr.com/ru/company/selectel/blog/557410/
    Какой предел у предсказателя ветвлений? Проверили на x86 и M1
    "... На x86 код должен распределить бюджет BTB между вызовами функций и условными переходами. BTB имеет размер всего в 4096 записей. Код, критичный к производительности должен быть меньше 16 КиБ, чтобы получить серьезное преимущество благодаря использованию BTB."
     

  • 1.66, Anonim (??), 11:53, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Linux! - можно настроить все!  

     
     
  • 2.88, Rev (?), 13:22, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Linux - нужно настраивать всё!
     
     
  • 3.91, пох. (?), 13:52, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Linux - нужно настраивать всё!

    Современный Linux можно настраивать годами, и не получить ровным счётом ничего, (знаем, сам такой), ядро от 3.0 убило всё.

     
     
  • 4.94, Anonim (??), 14:03, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    переходите на винду.
    индийский программист всегда подскажет, что больше ничего настраивать не нужно.  
    вам даже расскажут, где именно настраивать ничего не нужно...
     
     
  • 5.104, пох. (?), 14:53, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В винде изначально ясно, что как бы ты её не форсил, прироста не будет, а на линуксе он был, раньше, сейчас это тупо профанация
     

  • 1.68, Anonim (??), 12:02, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    я вот сейчас подумал, в венде и макос всё системное окружение воспринимается как данность, ну т.е. оно есть и трогать его не надо...
    а в линуксе, прикинте, системный журнал можно отключить!
    Обожаю первооткрывателей.
     
     
  • 2.92, пох. (?), 13:56, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Всегда отключаю эту дрянь, и пускай знатоки systemГ и сотрудники RedHat с ЛОРа не п**ят, что это убивает систему.
     

  • 1.80, Аноним (80), 12:40, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    А где вой негентушников что -O3 и -march-native ненужны ведь памяти жрется примерно столько же и ваще хромой лучше, ибо там же есть ангуглед версия?
     
     
  • 2.87, анонн (ok), 13:19, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > А где вой негентушников что -O3 и -march-native ненужны ведь памяти жрется
    > примерно столько же и ваще хромой лучше,

    Расскажи поподробнее, сколько миллионов JSON-запросов в секунду у тебя в хромом нагрузка (а так же, причем тут "негентушники" и прочее сравнение жопы с пальцем)?

     
  • 2.97, Аноним (97), 14:19, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    При чём тут память? С O3 браузер собирать? Ну такое.
     

  • 1.82, Аноним (82), 12:56, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off

    Разве mitigations=off не отключает это все одной опцией?

     
     
  • 2.85, Аноним (85), 13:07, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    "Оставлены без изменения настройки для защиты от атак L1TF/Foreshadow (l1tf=flush), iTLB multihit, Speculative Store Bypass и SRBDS, которые не влияли на производительность, так как не пересекались с тестируемой конфигурацией"
     
     
  • 3.93, пох. (?), 14:00, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Тогда всё это откровенный звиздёшь, так как "mitigations=off" не даёт ровно никакого прироста, если не наоборот.
     
     
  • 4.96, Аноним (97), 14:18, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Есть узкие кейсы на которых повышается производительность. Но это интересует только хайлоад на десятки тысяч нод.
     
     
  • 5.102, пох. (?), 14:51, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Вот я и говорю что звиздёж)
     
     
  • 6.127, edo (ok), 19:22, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Человек измерил, привёл цифры, не вижу основной ему не верить, а вы «звиздёж».
    Или вы про то, что под вашей нагрузкой цифры другие получаются? Так ничего удивительного, разве в статье утверждается, что любая нагрузка получит именно такое ускорения?
     
     
  • 7.159, нах.. (?), 14:26, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Нет у него никаких цифр Это типичный обитатель впопеннета, с единственным void ... большой текст свёрнут, показать
     
  • 4.126, edo (ok), 19:12, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Почему не даёт? В моих тестах давал вполне воспроизводимый прирост (хоть и не очень большой)
     
     
  • 5.128, пох. (?), 19:36, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ну не знаю, по моим ощущениям сразу после mitigations=off наблюдалась какая-то дубовость что-ли, хз как обьяснить.
     
     
  • 6.158, нах.. (?), 14:18, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    разница между тобой и инженером именно в этом. Он - мерял. А у тебя - "ощущения".

    Поэтому он работает в фейсбуке, а ты в подвале.

     
  • 6.166, Аноним (166), 21:37, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Очень достоверно, как всегда
     

  • 1.83, Аноним (83), 13:00, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    не пробовали DPDK запользовать ?....
     
     
  • 2.99, ыы (?), 14:30, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А есть какое-то осмысленное обоснование для DPDK в виртуалках?
     
     
  • 3.129, edo (ok), 19:38, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Dpdk в первую очередь про уменьшение переключений контекста, что тут меняет виртуализация?
     

  • 1.84, Аноним12345 (?), 13:06, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Возможности тюнинга ядра безграничны
     
  • 1.89, Аноним (89), 13:25, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Отмечается, что nftables работает более эффективно, чем iptables

    я тоже заметил это

     
  • 1.90, пох. (?), 13:45, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Как же достало отсутствие документирования в Линукс.

    Теперь вот это: "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off", а разве "mitigations=off" уже недостаточно?

     
     
  • 2.95, Аноним (97), 14:16, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Они не всё отключали. В линуксе всё прекрасно документировано бтв.
     
     
  • 3.108, ыы (?), 15:44, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    он. ОН отключал... Это исследование сделал ОДИН человек которому было скучно сидя дома из-за ковида.. И вот пока он маялся дурь....бездельем -  провел это исследование ради интереса. о чем и рассказывает с своем посте...
     
     
  • 4.111, Аноним (97), 15:57, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    "Они" -- это гендерно-нейтральная форма.
     
     
  • 5.119, Аноним (119), 17:29, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Они - это множественное число. Тогда там либо сиамские близнецы, либо Николай v.2. Корректно будет - "оно" или "это".
     
     
  • 6.120, Аноним (97), 17:40, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Оно/это -- средний род, а не неопределённый. Если пол (хотя сейчас модно гендер) неизвестен, нейтральная форма более корректна.
     
     
  • 7.121, Ananimasss (?), 17:56, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Это что же получается, маньяк в молчании ягнят опередил свое время и был политкорректным, когда обращался к жертве "оно"?
    Во дела.
     
     
  • 8.122, Аноним (97), 18:05, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Если он обращался через оно , то это неодушевлённый предмет или животное ... текст свёрнут, показать
     
  • 7.123, Аноним (119), 18:05, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Инклюзивисты даже в гуманитарщину не смогли? Они - множественное число среднего рода. Нет никакой "нейтральной" формы.
     
     
  • 8.124, Аноним (97), 18:08, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще-то, это серьёзно форма для неопределённого пола при обращении, и никакого... текст свёрнут, показать
     
  • 2.142, Аноним (142), 00:24, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    просто добавь этот сайт себе в закладки https://make-linux-fast-again.com/ параметры для /etc/default/grub
     

  • 1.109, Аноним (107), 15:48, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    В нормальных конторах фаервол сугубо хардварный отдельными железками. На самих сервисах не нужен никакой iptables или pf.
     
     
  • 2.110, ыы (?), 15:55, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    То что файрвол сделан в виде отдельной железки и покрашен в модный цвет- ничего не говорит о том сколько там внутри "железа" и сколько делается на обычных бытовых процессорах... поинтересуйтесь на досуге как "сугубо хардварный" сделан  у популярных брендов.

    Что же касается файрвола на самом сервисе - то эта рекомендация гуляет по сети лет 40. Ее нюанс- в том что если вы не обрабатываете хайлоада- она вам как пятое колесо к телеге...

     
     
  • 3.117, нах.. (?), 16:44, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > поинтересуйтесь на досуге как "сугубо хардварный" сделан  у популярных брендов.

    да, поинтересуйтесь. Напоминаю - в cisco asa 5510 - pentium3 celeron. Одноядерный, конечно (ибо пентиум3) По-моему даже не тулатин, так что там что-нибудь не выше гигагерца. Очень интересно, много ли вы лично таким нафайрволите, даже без шифрования (которое она худо-бедно тоже могет на сотню-полторы юзеров и пяток site2site если не слишком насиловать траффиком).

    Это в общем-то единственный "популярный бренд" про которого точно известно, что у него внутри и приблизительно - как оно работает (поскольку его ковыряли и доковырялись таки до возможности запуска отдельно от железа).

    Что там и как у pa5xxx - один аллах ведает. Но ничего подобного ваш линoops все равно не умеет в принципе.

     
     
  • 4.168, Аноним (168), 00:02, 23/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Например не умеет вставать колом при 100к/с синов.
     
     
  • 5.170, нах.. (?), 10:32, 23/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Например не умеет вставать колом при 100к/с синов.

    А если найду?!

    Чудес не бывает, если ты их собираешься парсить, а не дропать сразу на входе до попадания в conntrack.

     
     
  • 6.181, Аноним (168), 01:18, 30/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не бывает, да. 5585Х затыкается на примерно 130к даже при дропе.
     
     
  • 7.182, Аноним (168), 01:53, 30/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А линукс на древнем 8-ядернике держит до 2.5 млн/с в режиме синпрокси, то есть с  парсингом и кучей дополнительных операций.
     
  • 3.179, Аноним (107), 22:18, 26/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    То что там есть процессор общего назначения не значит что через него идёт весь траффик. Учи матчасть.
     
  • 2.116, нах.. (?), 16:36, 21/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > В нормальных конторах фаервол сугубо хардварный отдельными железками.

    и первый же червяк, пробивший внешний контур безопасности, или "обиженный" сотрудник, имеет всю контору? Ну, ооок.

    А не могли бы вы опубликовать список лично вам известных "нормальных контор", ну чисто так для интереса - чтоб ненароком там личные данные не засветить или, упаси Б-же, денег не похранить?

    Да, и вот как там с докером, тут пацаны интересуются? В "нормальной конторе" вы его тоже с "--network host" запускаете, вручную на каждом сервере (ибо никакие  стандартные оркестраторы такой авангард не поддерживают) ?

     
     
  • 3.167, Аноним (168), 00:00, 23/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Для альтернативно одаренных ником - кроме внешнего фаервола еще бывают внутренние и еще сегментация, и еще много чего интересного.
     

  • 1.118, Нанобот (ok), 16:52, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Так может, если местные иксперты поднастроят свои локалхосты, то у них и хром тормозить перестанет? 🤔 Правда тогда у них не будет возможности поныть...
     
     
  • 2.149, ыы (?), 08:25, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну, если все что они при этом будут делать на своих компах- это гонять ... пустые json запросы... на AWS - то почему бы и нет... :)
     

  • 1.125, Аноним (125), 18:50, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Поймать поймали 10005000 заисей как и куда их оптимальней всегл записать на диск для хранения и дальнейщей обработки
     
     
  • 2.153, Брат Анон (ok), 10:04, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    С какой целью? Если это, например, список параметров отображения ленты друзей в пейсбуке? Зачем это всё хранить?
     

  • 1.137, Аноним (137), 21:55, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Патчи из Миннесоты животворящие ты посмотри что творят! ВАХ!
     
  • 1.138, Аноним (138), 22:12, 21/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Опять на Ц. Было бы на каком-то языке, на котором можно сразу и логику нормальную написать (типа того же Раста) и можно было бы отправить на свалку всякие Ноды.

    Кстати, коль скоро сейчас всё-равно крутится в виртуалках, почему бы не написать сразу операционку без поддержки графики, пользователей и прочьего, у которой одна задача - обрабатывать HTTP запросы. Очевидно не нужно раз не пишут. Но почему? Слишком мал выигрыш в производительности будет?

     
     
  • 2.148, ыы (?), 08:22, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В данном случае надо сперва решительно закончить школу...Ах да, некоторые уже закончили...первый класс вроде уже отучились... Но надо не этот год обучения, а школу вообще...

    После чего пойти выучить что такое операционная система и чем она отличается от прикладной программы.
    Узнать, что прикладные программы выполняющиеся на baremetal - существуют, и вы можете паковать свои проги в такой вид (в этом смысле вы ломитесь в открытую дверь). Узнать какие при этом у вас возникнут проблемы, если ваше железо - более чем один роутер или платка распберри.

    И... мы  Вас ждем с новыми остроумными комментариями и мнением по глобальным вопросам :)

     
  • 2.176, Аноньимъ (ok), 12:28, 24/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Есть такие ОС, для оборочавания вокруг одной программы.

    Ну и вы вполне такое из линукса можете сделать.

     

  • 1.143, Kuromi (ok), 05:29, 22/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Интересные оптимизации, которые больше всего сводтся к аналогу "А давайте с автомобиля снимем весь обвес, оставив только раму, откажемся от риятных излищество вродеподушек безопасности, уберем все предохранители и втопим педаль в пол". Вопрос только как быстро пилот сможет "уехать" на таком шайтан-шаттле?
    Но, в принципе, почему нет?
     
     
  • 2.147, ыы (?), 08:13, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Именно так делают автомобили для гонок- убирают все лишнее- все что не имеет отношения к решению поставленной задачи. Более того, ВСЕ оптимизации делаются этим путем. Просто вы еще не поняли этого. Ну и не все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать что можно убрать а что нельзя.
     
     
  • 3.162, darkshvein (ok), 14:42, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Ну и не все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать что можно убрать а что нельзя.

    я думаю, стоит начать с js-программистов.
    Просто вы еще не поняли этого.

     
  • 3.169, Kuromi (ok), 00:31, 23/05/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Именно так делают автомобили для гонок- убирают все лишнее- все что не
    > имеет отношения к решению поставленной задачи. Более того, ВСЕ оптимизации делаются
    > этим путем. Просто вы еще не поняли этого. Ну и не
    > все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать
    > что можно убрать а что нельзя.

    Ну разумеется, вот только гоночные болиды никто на улицы не выпускает. Да и истинный гоночный болид уже ну очень далек от классического автомобиля, а тут именно что берут серийную тачку и делают из нее шайтан-мобиль. Может если так сильно оптимизировать линукс под запросы стоит уже ...подумать об альтернативах?

     

  • 1.145, Аноним (137), 07:23, 22/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    И снова не на расте
     
     
  • 2.150, ыы (?), 08:27, 22/05/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну так перепишите   libreactor  на расте и будет счастье...
     

  • 1.161, darkshvein (ok), 14:41, 22/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    >XXXX-запросов в секунду

    эт как гигагерцы в штеудече. частота на гиг больше чем у амуди, а толку никакого.

    не поможет увеличение объёма обработки запросов при говнокоде, как авторитетный диванный эксперт вам заявляю.

     
  • 1.164, Аноним (164), 20:33, 22/05/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    > поднять производительность обработчика JSON

    Вот никого не смущат нет? Всё нормально? Сначала это г везде всунули а теперь систему тюнить?

    Очень просто всё ребята, не использовать уродский JSON. Это чуждо как человеку так и машине.

     
     
  • 2.177, Аноньимъ (ok), 12:35, 24/05/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да вроде простой формат для парсинга, и человеку таки куда проще xml.
    Непонятно к чему вы это.

    Я вижу проблему в том, что взаимодействие сетевых приложений стали повально делать через передачу файлов по шттп. И непонятно лучше это или хуже ftp.
    Шизофрения настоящая.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру