The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Google представил платформу бессерверных вычислений Knative 1.0, opennews (??), 04-Ноя-21, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


10. "Google представил платформу бессерверных вычислений Knative ..."  –1 +/
Сообщение от Аноньимъ (ok), 04-Ноя-21, 23:55 
Обнаружил на днях что модные тайм серис базы данных, которые рекламируют как решения для хай лоада, используют мать его http.

Вот тут то ли я старею, то ли мир рехнулся окончательно.

Ответить | Правка | Наверх | Cообщить модератору

15. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Аноним (16), 05-Ноя-21, 00:51 
Если HTTP/1.1 чересчур текстов и недостаточно бинарен, всегда можно использовать HTTP/2.

Или у вас какие-то другие требования к протоколам для хайлоада, акромя пресловутой бинарности?

Ответить | Правка | Наверх | Cообщить модератору

17. "Google представил платформу бессерверных вычислений Knative ..."  +6 +/
Сообщение от Ordu (ok), 05-Ноя-21, 01:14 
Сколько можно этому удивляться?

HTTP достаточно навороченный из коробки, чтобы позволять совершать очень разнообразные запросы -- с параметрами и со всякой сопутствующей метаинформацией. Он позволяет всякие разные режимы ответа, с фиксированной длиной или chunked, сжатие если чё можно подключить. Опять же криптографически можно прикрыть канал, если надо. Можно упаковать несколько запросов в одно соединение, или открыть несколько соединений. Можно использовать кукисы, чтобы идентифицировать агента, который разные запросы отсылает по разным соединениям, то есть прерывающаяся сессия -- это не проблема. С http знакомо всё сетевое оборудование, и, скорее всего, пропускает его без проблем.

И хрен бы с ним, всё это (за исключением номера порта <1000 -- с этим могут быть проблемы) несложно написать в спецификацию своего на коленке созданного протокола, но к http прилагается куча уже готовых библиотек, как клиентских, так и серверных. _Любых_ библиотек, на любой вкус, под любой язык программирования. Можно даже с целым фреймворком, причём тут тоже есть выбор, вне зависимости от того, какой язык программирования ты выберешь. Можно балансировать нагрузку готовыми инструментами. Тебе не надо писать аж целый nginx, если тебе вдруг понадобится прокси или ревёрс-прокси.

Я не представляю себе, насколько острым должен быть рецидив NIH-синдрома, чтобы начать пилить аж целый новый протокол со всеми сопутствующими библиотеками, фреймворками и инструментами. Не, ну если требования какие-нибудь сильно неподходящие для http, типа двустороннего обмена сообщениями по три байта каждый... Но даже здесь у http есть web-socket'ы.

> рекламируют как решения для хай лоада, используют мать его http
> базы данных

Это базы данных, у них узкое место -- вовсе не парсинг http. Ты можешь словить приступ NIH синдрома, проделать всё, что написано выше, запилить специально заточенный на скорость разбора бинарный протокол, и получить прирост производительности, который будет невозможно выделить из статистического шума.

А вот если на твоей нагрузке вдруг парсинг http станет узким местом, то вот тогда ты разработаешь альтернативный протокол, и добавишь в свой сервер опцией для тех, кому действительно надо. И даже нельзя сказать, что в результате ты будешь проделывать лишнюю работу (типа сначала на http реализовал, а потом на своём протоколе). На http реализовывать -- это настолько просто, что дополнительные затраты на разработку будет невозможно выделить из статистического шума (в том случае, если ты повторишь всё это действо достаточное количество раз, чтобы можно было бы считать статистику).

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

18. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Аноньимъ (ok), 05-Ноя-21, 01:22 
Предлагаете с MySQL через http работать?

А чтож сразу недодумались так делать, странно. Наверное смузи не хватило.

Ответить | Правка | Наверх | Cообщить модератору

20. "Google представил платформу бессерверных вычислений Knative ..."  –1 +/
Сообщение от Anonim (??), 05-Ноя-21, 02:38 
То что какой-то мускуль тебует для общения не http-это пережиток прошлого.
Ответить | Правка | Наверх | Cообщить модератору

22. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Ordu (ok), 05-Ноя-21, 02:56 
> Предлагаете с MySQL через http работать?

А как? Выставлять MySQL наружу, стучись кто хочет? От всяких там MitM как отбиваться?

> А чтож сразу недодумались так делать, странно.

Ничего странного. Когда запиливали MySQL, http не был развит до современного уровня. Стандарт HTTP/1.0 был опубликован в 1996 году, HTTPS в 2000, а MySQL явил себя свету в 1995. Но даже если бы MySQL создавали бы в 2000, это было ещё не тот уровень поддержки http софтом, который делает http безальтернативным выбором почти всегда. Вот в 2010 можно было подумать об этом.

Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

25. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Аноньимъ (ok), 05-Ноя-21, 03:16 
Каким образом у вас http и безопасность сочетаются, мне непонятно.
Вы точно http ни с чем не перепутали?
Ответить | Правка | Наверх | Cообщить модератору

28. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Аноним (28), 05-Ноя-21, 08:05 
Да у всех хттп(с) и безопасность сочетаются. Притом настолько, что веб-сервера аж выпускают в интеренет! Притом, что внутри сети - можно гонять чистый нешифрованный хттп, а для выхода наружу - завернуть в хттпс каким-нибудь нжинксом.
Ответить | Правка | Наверх | Cообщить модератору

64. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Sw00p aka Jerom (?), 06-Ноя-21, 01:30 
>А как? Выставлять MySQL наружу, стучись кто хочет? От всяких там MitM как отбиваться?

а шо TLS в мускуле отменили?

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

29. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Ю.Т. (?), 05-Ноя-21, 08:55 
Когда-то доступ к реляционным СУБД через SQL, а значит, и через сеть, задумывался и для клиентских мест. В банкоматах, например. Но тогда еще не было http.
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

34. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Аноним (16), 05-Ноя-21, 13:13 
Да и вообще разработчики не очень задумывались о таких вещах, как неавторизованный доступ или MitM.
Ответить | Правка | Наверх | Cообщить модератору

51. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от A (?), 05-Ноя-21, 19:40 
> Предлагаете с MySQL через http работать?
> А чтож сразу недодумались так делать, странно. Наверное смузи не хватило.

В Постгре уже есть.

Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

37. "Google представил платформу бессерверных вычислений Knative ..."  +2 +/
Сообщение от Аноним (16), 05-Ноя-21, 13:33 
> А вот если на твоей нагрузке вдруг парсинг http станет узким местом, то вот тогда ты разработаешь альтернативный протокол, и добавишь в свой сервер опцией для тех, кому действительно надо.

Это, скорее всего, опять будет приступом NIH, потому что уже есть gRPC с protobuf, работающий поверх HTTP/2. Можно запилить произвольную структуру данных и написать для нее спеку, код упаковщика и распаковщика будет генерироваться автоматически.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

21. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Anonim (??), 05-Ноя-21, 02:45 
Стареешь. В базах самое сложное-это выполнить операцию с данными. По какому протоколу получить данные запроса и отдать данные результата неважно. И чем этот протокол универсальнее и "страндартнее", тем лучше. Этого не осознают только копролиты родом из прошлого века. Вернее, в эпоху их появления тех самых достаточно "стандартных" протоколов просто небыло, поэтому городили какие-то свои, уникальные.
Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

27. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Аноньимъ (ok), 05-Ноя-21, 03:26 
Базы разные бывают.
База данных временных рядов оптимизированная на запись вполне себе может и хттп ощутить.

А http не стандартный.
Это протокол для передачи гипертекстовых документов, разросшийся в монстра для обслуги современных браузеров.

При этом нынче их несколько сортов включая quic.

Идиотизм ситуации уже в том, что данные для запроса в бд нужно в uri кодировать.

Ответить | Правка | Наверх | Cообщить модератору

33. "Google представил платформу бессерверных вычислений Knative ..."  –1 +/
Сообщение от Аноним (16), 05-Ноя-21, 13:12 
> База данных временных рядов оптимизированная на запись вполне себе может и хттп ощутить.

Тогда придется заливать данные в несколько потоков, о ужас!

> Идиотизм ситуации уже в том, что данные для запроса в бд нужно в uri кодировать.

Идиотизм, если это надо делать руками.
То, что при использовании бинарного протокола запрос приходится кодировать в бинарный вид, вас не смущает?

Ответить | Правка | Наверх | Cообщить модератору

39. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Аноньимъ (ok), 05-Ноя-21, 13:44 
> Тогда придется заливать данные в несколько потоков, о ужас!

Причём тут какие-то потоки вообще?

> То, что при использовании бинарного протокола запрос приходится кодировать в бинарный вид,
> вас не смущает?

Я ничего про бинарные потоки не говорил. Пусть текстовые будут.

Кстати, текстовые протокол, внезапно, сидит поверх бинарного. То есть у вас уже как минимум один лишний уровень абстракций который нужно декодировать.

Но дело же не в том что хттп тектовый, а в том что это наркомания и идиотизм.

Ответить | Правка | Наверх | Cообщить модератору

40. "Google представил платформу бессерверных вычислений Knative ..."  –1 +/
Сообщение от Аноним (16), 05-Ноя-21, 13:49 
> Причём тут какие-то потоки вообще?

При том, что если bulk insert заливается в 100 потоков по HTTP/2, то даже при не очень оптимальном парсере он будет быстрее, чем один поток бинарного протокола.

> Кстати, текстовые протокол, внезапно, сидит поверх бинарного.

Ага, ведь каждая буква - это байт. А в юникоде - даже несколько, кошмар!
Нужно срочно запретить использование текста в ЭВМ!!!1 Почему? Ну, потому что

> это наpкомания и идиoтизм.

 

Ответить | Правка | Наверх | Cообщить модератору

47. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Аноньимъ (ok), 05-Ноя-21, 15:53 
> Ага, ведь каждая буква - это байт. А в юникоде - даже
> несколько, кошмар!
> Нужно срочно запретить использование текста в ЭВМ!!!1 Почему? Ну, потому что

Вот ЭТО - наpкомания и идиoтизм.

Вы спорите с воображаемым вами адептом бинарных протоколов. Меня вы просто игнорируете.

Ответить | Правка | Наверх | Cообщить модератору

60. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Онаним (?), 05-Ноя-21, 22:57 
А, не заморачивайтесь. Если предполагаемый сферический парсер в вакууме на каком-нибудь питоне писан, то да, там без 100 потоков не обойтись.
Ответить | Правка | Наверх | Cообщить модератору

59. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Онаним (?), 05-Ноя-21, 22:56 
Э-э-э, с чего бы блджад.
У потоков так-то вообще ещё накладные расходы есть.
Мы не говорим про обработку данных потока - она распараллеливается без проблем вообще, только про анвраппинг.
Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

65. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Sw00p aka Jerom (?), 06-Ноя-21, 01:35 
>При том, что если bulk insert заливается в 100 потоков по HTTP/2, то даже при не очень оптимальном парсере он будет быстрее, чем один поток бинарного протокола.

че за бред?

Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

78. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Онаним (?), 06-Ноя-21, 19:04 
Скорее всего это не бред, а опыт работы с косорыло написанным парсером, в котором разбор данных совмещён с их заливкой в хранение. Всё в одно рыло, в один поток, естественно. Типично для всяких питоноподелок.
Ответить | Правка | Наверх | Cообщить модератору

79. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Онаним (?), 06-Ноя-21, 19:05 
Поделить на ноль, простите, на разбор и далее очереди сохранения, которые независимо растаскиваются в хранилку - это уже слишком сложно.
Ответить | Правка | Наверх | Cообщить модератору

57. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Онаним (?), 05-Ноя-21, 22:54 
Это ещё не смешно, и даже не страшно.
Смешно и страшно становится когда на эти модные дазы банных реально пытаешься приличную нагрузку завести. Внезапно оказывается, что их надо либо масштабировать на 10-кратные (бывает и больше) всем разумным потребностям задачи ресурсы, ну либо они просто ложатся.
Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

58. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Онаним (?), 05-Ноя-21, 22:55 
Короче если у тебя нет миллио... энтерпрайза с бездонным бюджетом, можно идти на... мимо.
Ответить | Правка | Наверх | Cообщить модератору

66. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Sw00p aka Jerom (?), 06-Ноя-21, 01:38 
>Смешно и страшно становится когда на эти модные дазы банных

биг-дейта, ваши рсубд по определению не решают этих задач

Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

69. "Google представил платформу бессерверных вычислений Knative ..."  +1 +/
Сообщение от Онаним (?), 06-Ноя-21, 10:47 
То, что эти ребята обзывают бигдейтой - в основном просто баззворд.
Данные нескольких сотен тысяч ежеминутных или около метрик с сети за год - ни разу не бигдейта.
А моднявые перделки под ними ложатся.
Ответить | Правка | Наверх | Cообщить модератору

75. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Аноним (16), 06-Ноя-21, 17:59 
Видел, как от такого ложится Zabbix с MySQL backend. Это достаточно моднявые пeрделки?
Ответить | Правка | Наверх | Cообщить модератору

76. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Онаним (?), 06-Ноя-21, 19:02 
Influx ложится гораздо раньше, личный опыт.
В итоге выбрано немножко другое решение: сливать из MySQL в RRD, и дальше отрисовывать из RRD.
Работает уже много лет без проблем в пределах одной не очень жирной виртуалки.
Ответить | Правка | Наверх | Cообщить модератору

91. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Аноньимъ (ok), 07-Ноя-21, 23:58 
Вот спасибо за наводку кстати.

Нужно хранить(и несложно запрашивать) несколько терабайт постоянно дописывающейся финансовой информации, стал перебирать новомодные решения и что-то во всём разочаровался, похоже на мускле остановлюсь.

Ответить | Правка | Наверх | Cообщить модератору

83. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Sw00p aka Jerom (?), 06-Ноя-21, 21:26 
> Данные нескольких сотен тысяч ежеминутных или около метрик с сети за год
> - ни разу не бигдейта.

сотен тысяч метрик? у заббикса калькулятор есть, посчитайте какой объем получиться


Ответить | Правка | К родителю #69 | Наверх | Cообщить модератору

84. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Онаним (?), 06-Ноя-21, 21:35 
Зачем мне калькулятор, если я и так в курсе, сколько получится - оно у меня работает.

Number of items (enabled/disabled/not supported)    710250    340402 / 365957 / 3891

И какой объём я тоже в курсе, но калькулятор ваш не менее бесполезен, потому что ещё сжатие есть, и разные варианты хранения.

Ответить | Правка | Наверх | Cообщить модератору

85. "Google представил платформу бессерверных вычислений Knative ..."  +/
Сообщение от Онаним (?), 06-Ноя-21, 21:42 
Немножко топчика, чтобы не голословно.

top - 19:41:37 up 74 days,  9:34,  1 user,  load average: 0.70, 1.58, 2.19
Tasks: 351 total,   4 running, 347 sleeping,   0 stopped,   0 zombie
%Cpu0  :  2.7 us,  0.3 sy,  0.0 ni, 96.7 id,  0.0 wa,  0.3 hi,  0.0 si,  0.0 st
%Cpu1  :  1.7 us,  0.7 sy,  0.0 ni, 97.0 id,  0.0 wa,  0.3 hi,  0.3 si,  0.0 st
%Cpu2  :  3.7 us,  0.3 sy,  0.0 ni, 95.0 id,  0.0 wa,  0.3 hi,  0.3 si,  0.3 st
%Cpu3  :  3.0 us,  4.3 sy,  0.0 ni, 92.4 id,  0.0 wa,  0.3 hi,  0.0 si,  0.0 st
%Cpu4  :  1.3 us,  0.7 sy,  0.0 ni, 98.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu5  :  5.3 us,  1.0 sy,  0.0 ni, 92.1 id,  0.0 wa,  1.0 hi,  0.7 si,  0.0 st
%Cpu6  :  2.0 us,  4.0 sy,  0.0 ni, 93.4 id,  0.0 wa,  0.3 hi,  0.0 si,  0.3 st
%Cpu7  :  4.3 us,  4.7 sy,  0.0 ni, 91.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu8  :  1.3 us,  0.7 sy,  0.0 ni, 97.7 id,  0.0 wa,  0.3 hi,  0.0 si,  0.0 st
%Cpu9  :  2.0 us,  2.3 sy,  0.0 ni, 95.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu10 :  2.3 us,  3.7 sy,  0.0 ni, 94.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu11 :  2.3 us,  1.3 sy,  0.0 ni, 96.4 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :  32087.3 total,    641.0 free,  18311.1 used,  13135.2 buff/cache
MiB Swap:      0.0 total,      0.0 free,      0.0 used.  10582.5 avail Mem

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
   1199 mysql     20   0   22.9g  15.0g   6352 S  10.6  47.9  99204:44 /usr/sbin/mariadbd
3998729 zabbix    20   0  932168  34156  22528 R   7.0   0.1   0:00.21 /opt/httpd/bin/httpd -f /etc/httpd/php73/httpd.conf -DFOREGROUND
   2090 zabbix    20   0 4783976   1.2g   1.1g S   3.0   3.7   1777:29 /usr/sbin/zabbix_server: history syncer #7 [processed 0 values, 0 triggers in 0.000064 sec, idle 1 sec]
   2085 zabbix    20   0 4781980   1.2g   1.1g S   2.3   3.7   1773:30 /usr/sbin/zabbix_server: history syncer #2 [processed 0 values, 0 triggers in 0.000104 sec, idle 1 sec]
   2091 zabbix    20   0 4784592   1.2g   1.1g S   2.3   3.7   1751:07 /usr/sbin/zabbix_server: history syncer #8 [processed 0 values, 0 triggers in 0.000064 sec, idle 1 sec]
   2089 zabbix    20   0 4782632   1.1g   1.1g S   2.0   3.7   1770:55 /usr/sbin/zabbix_server: history syncer #6 [processed 0 values, 0 triggers in 0.000065 sec, idle 1 sec]
   2154 zabbix    20   0 4724032 694012 679660 S   1.7   2.1   1877:26 /usr/sbin/zabbix_server: trapper #4 [processed data in 0.057868 sec, waiting for connection]
   2087 zabbix    20   0 4771716   1.1g   1.1g R   1.0   3.6   1780:20 /usr/sbin/zabbix_server: history syncer #4 [processed 21 values, 59 triggers in 0.006304 sec, syncing history]
   2152 zabbix    20   0 4733984 707520 683084 R   0.7   2.2   1868:29 /usr/sbin/zabbix_server: trapper #2 [processing data]
...

Ответить | Правка | Наверх | Cообщить модератору

87. "Google представил платформу бессерверных вычислений Knative ..."  –1 +/
Сообщение от Sw00p aka Jerom (?), 07-Ноя-21, 00:40 
> Зачем мне калькулятор, если я и так в курсе, сколько получится -
> оно у меня работает.
> Number of items (enabled/disabled/not supported) 710250 340402 / 365957 / 3891
> И какой объём я тоже в курсе, но калькулятор ваш не менее
> бесполезен, потому что ещё сжатие есть, и разные варианты хранения.

размер таблиц и период хранения

Ответить | Правка | К родителю #84 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру