Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Открыт код VictoriaMetrics, СУБД для временных рядов, совмес..."	+/–
Сообщение от opennews (?), 25-Май-19, 21:23
Открыты (https://blog.usejournal.com/open-sourcing-victoriametrics-f3... исходные тексты VictoriaMetrics (https://victoriametrics.com/) - быстрой и масштабируемой СУБД для хранения и обработки данных в форме временного ряда (запись образует время и набор соответствующих этому времени значений, например, полученных через периодический опрос состояния датчиков или сбор метрик). Проект конкурирует с такими решениями, как InfluxDB (https://influxdata.com), TimescaleDB (https://www.timescale.com/), Thanos (https://github.com/improbable-eng/thanos), Cortex (https://github.com/cortexproject/cortex) и Uber M3 (https://eng.uber.com/m3/). Код написан на языке Go и  распространяется (https://github.com/VictoriaMetrics/VictoriaMetrics) под лицензией Apache 2.0. Преимущества и особенности VictoriaMetrics: -  Проста в эксплуатации. Представляет из себя один исполняемый файл с минимальными настройками, передающимися через командную строку при запуске. -  Поддержка языка запросов PromQL (https://prometheus.io/docs/prometheus/latest/querying/basics/), используемого в  системе мониторинга Prometheus (https://prometheus.io/). Поддерживаются подзапросы PromQL и некоторые расширенные возможности (https://github.com/VictoriaMetrics/VictoriaMetrics/wiki/Exte... такие как выражение "offset", шаблоны внутри "WIDTH", операторы "if" и "default", дополнительные функции и возможность включения комментариев; -  Возможность использования в качестве долговременного хранилища данных (https://prometheus.io/docs/prometheus/latest/storage/#remote... подключенного к Prometheus и Grafana (https://grafana.com/). -  Наличие режима обратного заполнения для загрузки исторических данных; -  Поддержка различных протоколов передачи данных, включая Prometheus API, Influx, Graphite и OpenTSDB.  В том числе VictoriaMetrics может применяться в качестве прозрачной замены InfluxDB и может работать с совместимыми с InfluxDB коллекторами, такими как Telegraf; -  Высокая производительность и низкое потребление ресурсов по сравнению (https://medium.com/@valyala/measuring-vertical-scalabil... с конкурирующими системами. Возможность (https://medium.com/@valyala/insert-benchmarks-with-inch... обработки очень большого числа уникальных временных рядов; -  Реализация  на языке Go, что обеспечивает компромисс между производительностью и сложностью кода по сравнению с Rust и C++. -  Предоставляются исходные коды кластерной версий (https://github.com/VictoriaMetrics/VictoriaMetrics/tree/clus... которая поддерживает горизонтальное масштабирование на несколько серверов и демонстрирует низкие накладные расходы. Имеются средства обеспечения высокой доступности. URL: https://blog.usejournal.com/open-sourcing-victoriametrics-f3... Новость: https://www.opennet.ru/opennews/art.shtml?num=50745
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от Груст (?), 25-Май-19, 21:23	–15 +/–
Я тупой. В чем прикол таких баз данных? Чем простая таблица в постгресе или мускуле не угодила?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #3, #6, #7

2. Сообщение от Аноним (2), 25-Май-19, 21:31	–9 +/–
> Реализация на языке Go, что обеспечивает компромисс между производительностью и сложностью кода по сравнению с Rust и C++. Какой-то феерический бред.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #5, #30

3. Сообщение от anonymous (??), 25-Май-19, 21:34	+10 +/–
Скоростью. У нас несколько миллионов метрик под постоянным мониторингом (то есть снимаются новые значения и постоянно рисуются графики на произвольные временные интервалы). И эта штука справляется одним сервером.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #4, #11, #38

4. Сообщение от anonymous (??), 25-Май-19, 21:35	+1 +/–
P.S.: К тому же для Prometheus, например есть куча написанного ПО для работы с метриками. Просто берёшь и используешь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3

5. Сообщение от anonymous (??), 25-Май-19, 21:37	+12 +/–
Какие-то аргументы будут? Go -- действительно более простой язык, чем C++, имеющий уровень вхождения сильно ниже, чем у Rust, но позволяющий писать вполне производильные приложения, если не нагружать GC.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #33, #79

6. Сообщение от Грустный Ёжик (?), 25-Май-19, 21:38	+7 +/–
Это специфический тип данных. Хранить его в обычном sql крайне неэффективно. Хороший пример временного ряда-- оцифрованный звук. Представьте, что кто-то решил хранить 16 бит 44100 Гц стерео без сжатия в базе postgres/mysql. И что нужно сделать, чтобы проиграть участок с 12 часа по 14ый.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

7. Сообщение от Тупой Груст (?), 25-Май-19, 21:38	+3 +/–
Тем, что в таких базах обычно сам временной ряд оптимизирован, как по объёму информации о дате и времени, так и по скорости доступа к последовательным данным (отрезку времени). Конечно, такое можно сделать и в любой другой базе данных, но проиграешь как по времени создания и интеграции такой базы, так и накладным расходам при эксплуатации таких БД.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

8. Сообщение от Аноним (8), 25-Май-19, 23:05	+/–
Странно что с RRDTool не сравнивают или они в разных нишах?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #10

9. Сообщение от vitalif (ok), 25-Май-19, 23:09	+/–
Хрен с ним с RRDTool. Где с прометеусом сравнение?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #17, #22

10. Сообщение от Аноним (10), 25-Май-19, 23:11	+2 +/–
В разных. В RRD не хранятся сырые значения, а утрамбовываются (аггрегацией и интерполяцией) в заранее отведённые слоты. Да и сотни тысяч—миллионы серий ты с RRD не пособираешь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8

11. Сообщение от Аноним (11), 25-Май-19, 23:51	–9 +/–
То есть, вы даже не пробовали, а сразу вкорячили стильно-модно-молодежное?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #12, #13

12. Сообщение от anonymous (??), 26-Май-19, 00:24	+6 +/–
Кто вам такое сказал? Уже начинают надоедать вопросы про эти "стильно-модно-молодёжно" от людей, кто, видимо, вообще не занимается high load (иначе откуда такие вопросы?). Отвечая на вопрос: нет, мы пробовали. Вернее, за опыт подобных задач чего только не пробовали.  Пробовали и MySQL/PgSQL и нижеупомянутые RRD [которые конкретно тут вообще не к месту], и graphite, и InfluxDB и прочее и прочее, и уже лишь потом чистый Prometheus и VictoriaMetrics (как минимум потому, что Prometheus появился лишь несколько лет назад). Prometheus -- единственный, кто справился с нашими _текущими_ задачами, а VictoriaMetrics работает ещё лучше (жрёт сильно ресурсов).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #14, #18

13. Сообщение от пох (?), 26-Май-19, 00:35	+/–
чего там пробовать - количество известно, скорость поступления тоже. Помножить одно на другое и на пару недель хранения - получаем размер базы, вызывающий вопросы, в своем ли уме тот, кто ее такую завел в sql. Причем в нее идут запросы весьма специфического характера - нужны либо все данные за интервал от-до, либо средние на отрезке такой-то длинны от и до, либо не средние, а, например, 90%. И никогда-никогда не понадобится конкретное значение вот в такой вот момент (к тому же его весьма вероятно и вообще нет в базе - есть значение на пол-секунды до, и на пол-секунды после, и какой у них точный тамйстемп - угадать нельзя) отдельно спроси себя, что происходит с такой базой во время housekeeping- то есть удаления ставших ненужными кусков данных - как в этот момент идут инсерты, что происходит с системой хранения и т д. Кому не хватает умишка - ну, судьба громадных инстансов zabbix (который как раз mysql использует вместо tsdb, точнее, до последней версии использовал, сейчас вроде научился, правда, как обычно у авторов, чему-то странному) служит последним предупреждением. Или первым факапом, кому как повезет. Да, они там напихали огромное количество костылей и подпорок, чтобы оно вообще как-то у кого-то работало, но за прошедшие десять лет уже даже его авторам понятно, что идея "компьютеры стали достаточно быстрыми, чтобы обойтись sql'ем" была неудачной (а выбор mysql/postgres с неосиляторством sqlite - неудачным вдвойне).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #20, #65

14. Сообщение от anonymous (??), 26-Май-19, 00:38	+2 +/–
P.S.: Но даже если бы и не пробовали, то это не повод отказываться от хорошего решения (такого как Prometheus или VictoriaMetrics). Просто изучите как что работает, изучите задачу, которую решайте, и исходя из этого выбирайте инструменты.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12

16. Сообщение от anonymous (??), 26-Май-19, 00:56	+/–
Статья вроде написана автором продукта, но очень скромно (сильно занижая важность продукта), IMHO :)
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #25

17. Сообщение от qsdg (ok), 26-Май-19, 04:39	+/–
> Хрен с ним с RRDTool. Где с прометеусом сравнение? Прометей сам по себе только локально может, нода упала и каюк. Поэтому к нему обычно серьёзные пацаны подключают нормальные базы через Remote Storage (я только Танос знаю, но его замахаешься настраивать). Плюс поддерживает push, а не только pull как Пром. Но и я так понимаю никто не мешает оставить Пром для скрэпинга, recording rules, alerts итп, а уже хранить/запрашивать данные из VictoriaMetrics. То есь это не замена Прому, а дополнение.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

18. Сообщение от Ordu (ok), 26-Май-19, 04:42	+2 +/–
> VictoriaMetrics работает ещё лучше (жрёт сильно ресурсов). Не могли бы вы пояснить эту фразу? Она как-то не укладывается в моей голове -- жрёт сильно ресурсов, значит лучше? Может тут ошибка какая вкралась в формулировку? Или имеется в виду "работает ещё лучше, хоть и жрёт сильно ресурсов"?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #19, #23

19. Сообщение от Какаянахренразница (ok), 26-Май-19, 06:02	+/–
жрёт сильно меньше ресурсов, не?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18

20. Сообщение от qsdg (ok), 26-Май-19, 07:37	+/–
> И никогда-никогда не понадобится конкретное значение вот в такой вот момент Насколько я помню, создатели Victoria Metrics утверждали, что у них как раз можно будет вытянуть сырые данные, а не как у дефолтного Prometheus. Я когда его только поставил, никак не мог понять почему у меня метрики получаются "пилой", ибо я сделал стандартную ошибку новичков в Prometheus -- запрашивал данные с таким же resolution как и scrape_interval. Эти вроде обещали что такого не будет, хотя я ещё не пробовал.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #21, #24, #58

21. Сообщение от DeadLoco (ok), 26-Май-19, 07:55	+/–
Это потому, что 95% не слыхивали о теореме Котельникова.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #40

22. Сообщение от Hagen (??), 26-Май-19, 10:18	+/–
Прометеус не поддерживает API на запись данных, что не позволяет "положить" в него идентичный по размеру, природе и кардинальности датасет. Поэтому нельзя добиться честного сравнения. Кроме того, в Прометеус нельзя писать из нескольких источников, а значит его нельзя использовать в качестве удаленного хранилища.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

23. Сообщение от anonymous (??), 26-Май-19, 11:10	+1 +/–
"Жрёт сильно меньше ресурсов", прошу прощения.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #28

24. Сообщение от пох (?), 26-Май-19, 11:54	+/–
речь была не об этом - речь о том что select .. where timestamp=чемубытонибыло - под что хорошо оптимизированы sql-базы - вообще не может использоваться с tsdb (даже имитируемой sql'ем) - потому что никто не обещал что такой вообще в базе будет, и когда юзер просит "покажи мне счетчик в момент X", он на самом деле имеет в виду - "покажи мне среднее между наиболее близкими к моменту X отсчетами". хранение сырых данных тут не очень поможет, если только они не снабжены метками сами по себе - что нынче немодно-немолодежно. Да и смысла особенного не имеет - приезжает у тебя разом 300 метрик, все выплюнуты приложением по какому-то конкретному поводу, нафига 300 времен сохранять, когда оно одно ровно на всех. Виктория, конечно, упакует, так что лишнего места не сожрется, но смысла в этом нет. Опять таки нормализованные формы хранения для tsdb не нужны - поскольку у данных из разных метрик ровно одна общая точка - тот самый тамймстемп. Короче, совсем на sql не похоже. Просто лет десять-пятнадцать назад некоторые авторы некоторых мониторилок напрасно решили что компьютеры уже достаточно мощные и можно обойтись sql'ем. Оказалось, компьютеры еще и генерят теперь на несколько порядков больше мусора, и обойтись по прежнему получается плохо.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

25. Сообщение от пох (?), 26-Май-19, 11:55	+/–
> Статья вроде написана автором продукта, но очень скромно (сильно занижая важность продукта), > IMHO :) это если еще и работает. Кто смелый?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #27

26. Сообщение от Аноним_number_X (?), 26-Май-19, 12:15	+/–
TimescaleDB - надстройка (extension) над постгресом (MVCC и др., чего отродясь не нужно в timeline DB), дайте угадаю, автор данной статьи объем базы вместе с WAL считал? Но сам его реализовывать не стал? Да на дефолтных настройках, позволяющих мускуль и постгре на калькуляторах запускать? Хех, сравнивать это с реляционками - сильный ход.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #29

27. Сообщение от x3who (?), 26-Май-19, 12:49	+/–
Выглядит настолько вкусно, что хочется попробовать. Есть у нас одна приблуда для статистики на MySQL со всеми выше описанными проблемами - медленно, трудно маинтейнить и т.д. Правда мне от неё ещё надо кастомные SQL-запросы увязывающие несколько потоков данных, а с этим в VictoriaMetrics вроде сложно. Хотя если есть есть способ быстро дёрнуть данные, например в Постгрес и там анализировать - то тоже сойдет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25 Ответы: #59

28. Сообщение от Аноним (28), 26-Май-19, 13:02	–1 +/–
надо было просто сказать: "архи-высочайше меньше" - тогда бы все сразу поняли
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #36

29. Сообщение от x3who (?), 26-Май-19, 13:05	+/–
В чем суть претензии - вы хотите сказать, что на самом деле Постгрес лучше подходит для работы с таймлайнами? Или что?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26

30. Сообщение от Аноним (28), 26-Май-19, 13:08	+6 +/–
> Какой-то феерический бред. Некоторые раз в пять лет вылезают из ржавого танка, видят как изменилась жизнь вокруг, однако в их восприятии это все сливается в сплошной разноцветный калейдоскоп, от чего они со словами "какой-то феерический бред" залезают обратно в танк на следующий период спячки.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #32

31. Сообщение от Аноним_number_X (?), 26-Май-19, 13:21	+/–
Суть претензии в попытках манипуляции. Автобус лучше Белаза или Белаз лучше автобуса? Или велосипед - лучший выбор?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #60

32. Сообщение от пох (?), 26-Май-19, 13:23	+1 +/–
но что характерно - через следующие пять лет никто уже не помнит никакое игого и все увлечены чем-то новым и прекрасным, и все так же скачут по поляне. А танк стоит себе...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #37

33. Сообщение от InuYasha (?), 26-Май-19, 13:48	–6 +/–
"Сложность кода" (фактор, важный для разработчиков) следует читать как "лень разработчиков". Т.е. "компромисс между ленью и производительностью. В общем, спасибо автору за список конкурентов.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #39

34. Сообщение от x3who (?), 26-Май-19, 14:57	+1 +/–
Но задача-то сформулирована - эффективная работа с тайм-сериями. Там важно сколько эти данные занимают на диске и как быстро работает эта система, при этом последнее зависит и от первого тоже. Т.е., используя вашу аналоги, сравнение идёт что лучше для перевозки больших групп живых людей - Белазы, автобусы или кластеры велосипедов. Люди загрузили и померяли сколько места на диске оно сожрало после загрузки данных, а мы получили примерное представление о возможных профитах от использования этой БД. По-моему вполне достаточно для общей оценки профитов.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #35

35. Сообщение от Аноним_number_X (?), 26-Май-19, 16:06	+/–
Вот манипуляция и заключается в том, что белаз перевозит 1 водителя, а сколько он соляры жрет!!! Я не утверждаю, что инструмент плох или хорош, констатирую наличие манипуляции. Безвредной, в принципе, но манипуляции, что само по себе должно насторожить. За кластер велосипедов спасибо, от души поржал.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

36. Сообщение от Аноним (36), 26-Май-19, 16:12	–1 +/–
Если сравнивать с прометеусом, то мимо ресурсов cpu/memory, есть ли выигрыш по disk usage? Не проводили замеры?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28 Ответы: #57

37. Сообщение от derfenix (ok), 26-Май-19, 17:19	+6 +/–
> А танк стоит себе... А должен ехать...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #45

38. Сообщение от Онаним (?), 26-Май-19, 17:58	+1 +/–
У меня по сути только один вопрос: сколько человек смотрят ежедневно ваши миллионы метрик, и сколько метрик они успевают посмотреть за год? :D Не троллю, просто интересна нужность всего этого.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #44, #48

39. Сообщение от anonymous (??), 26-Май-19, 22:02	+1 +/–
> "Сложность кода" (фактор, важный для разработчиков) следует читать как "лень разработчиков" Нет, "сложность кода" -- это именно "сложность кода".
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33

40. Сообщение от А (??), 26-Май-19, 23:32	+/–
А можно подробнее, в применении к системам мониторинга?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

41. Сообщение от x3who (?), 27-Май-19, 00:18	+/–
Так всё зависит от условий - в 40х годах Белаз бы был идеальным средством перемещения пехоты и военнопленных по пересеченной местности. Сегодня даже ОМОН перемещается автобусами, а завтра, когда кончится нефть - потребуются велосипеды для перемещения войск для завоёвывания урановых и литиевых месторождений. Для военных применений машины на литиевых батарейках не очень подходят - ведь литий хорошо воспламеняется и плохо тушится, а вот кластер на велорикшах с горячей заменой вышедших из строя велосипедистов обеспечит оптимальное соотношение производительности к стоимости, к тому же он более устойчив к поражающим факторам ядерных взрывов и систем РЭБ.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #69

42. Сообщение от Аноним (42), 27-Май-19, 01:42	–1 +/–
Ещё бы к Заббиксу привинтили поддержку этой СУБД в качестве бэкенда… Эх, мечты.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #46, #51, #61

43. Сообщение от Аноним (43), 27-Май-19, 07:04	+/–
перед тем как что то мониторить надо понять а на куя это мониторить... та же история с видеослежением - кто на все это смотрит и принимает решение... один бред (мониторинг всея и всего) порождает второй бред (виктория бреда)
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #50

44. Сообщение от Аноним (44), 27-Май-19, 11:12	+/–
Так это может не для человека нужно. Для ИИ или каких-то процессов моделирования или "алармических" алгоритмов. А человек уже выжимку после этого "чего-то" получает - "пока все нормально" или "срочно подними графитовые стержни или сиди я сам подниму, у нас возникла неприятная тенденция" или "скидывай срочно эти поганые биткоины!"
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38

45. Сообщение от GentooBoy (ok), 27-Май-19, 11:49	+/–
И куда ему ехать?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37

46. Сообщение от Andrey Mitrofanov (?), 27-Май-19, 11:58	+/–
> Ещё бы к Заббиксу привинтили поддержку этой СУБД в качестве бэкенда… Эх, > мечты. Зачем?  Поделитесь подробностями.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42 Ответы: #49

47. Сообщение от GentooBoy (ok), 27-Май-19, 12:04	+1 +/–
С Clickhouse сравнивать не стали по очевидным причинам?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #53, #62

48. Сообщение от пох (?), 27-Май-19, 14:04	+2 +/–
например - ноль. Но если что-то начинает вести себя странно - открывают связанный с проблемным местом набор (где далеко не миллионы)  и сравнивает состояние на сейчас с состоянием на прошлый понедельник. Это много проще, чем пытаться такую оценку состояния системы автоматизировать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38

49. Сообщение от пох (?), 27-Май-19, 14:14	+/–
> Зачем?  Поделитесь подробностями. затем что лопнуть он норовит - именно из-за использования sql для задачи, ему не слишком подходящей
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46 Ответы: #52

50. Сообщение от пох (?), 27-Май-19, 14:15	+/–
> та же история с видеослежением - кто на все это смотрит и принимает решение... С разморозочкой. ИИ в него давно уже смотрит. И умеет тебя отличить из толпы, вот что нехорошо.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43

51. Сообщение от пох (?), 27-Май-19, 14:27	+1 +/–
поддержку какой-то tsdb к 4.2 приделали - поддержку прометеуса тоже приделали, но, естественно, только чтения, поскольку другого внешнего апи в нем и не предусмотрено. насколько оно работоспособное - вот вы нам и рассказывайте.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

52. Сообщение от Andrey Mitrofanov_N1 (?), 27-Май-19, 16:58	–1 +/–
>> Зачем?  Поделитесь подробностями. > затем что лопнуть он норовит - именно из-за использования sql для задачи, > ему не слишком подходящей А-а-ага.  Ну-да, ну-да. whistler на пайтоне и субж на го-шечке -- не з-з-здуются?! А ты, я погляжу, Профессионал.   Наверное, и RRD-ешечки клиентам торгуешь?     Слайлики дай списать, дяденька.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49

53. Сообщение от anonymous (??), 27-Май-19, 17:57	+/–
ClickHouse -- это для другого рода метрик.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47 Ответы: #56

54. Сообщение от Аноним (54), 27-Май-19, 22:34	+/–
Господа, а чем собственно смотреть метрики в Influx есть пусть и подтормаживающий, но работающий в общем случае Chronograf, а здесь мне не понятно совершенно чем залезать в это изделеие и инвестигировать ситуацию.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #55, #63

55. Сообщение от anonymous (??), 28-Май-19, 00:51	+1 +/–
Смотря что нужно. Однако стоит особо отметить grafana -- весьма популярный сервис для визуализации метрик и настройки alert-ов.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54

56. Сообщение от Аноним (56), 28-Май-19, 16:28	+/–
можно поподробнее ну или линки
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53

57. Сообщение от valyala (?), 29-Май-19, 14:14	+1 +/–
VictoriaMetrics хорошо жмет данные перед сохранением на диск. Например, в 70 раз лучше, чем TimescaleDB и примерно в 10 раз лучше, чем Prometheus. Вот тут можно почитать, почему так происходит - https://medium.com/@valyala/victoriametrics-achieving-b...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36 Ответы: #64

58. Сообщение от valyala (?), 29-Май-19, 14:17	+/–
VictoriaMetrics поддерживает возможность получить сырые данные - см. https://medium.com/@valyala/analyzing-prometheus-data-w...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

59. Сообщение от valyala (?), 29-Май-19, 14:23	+/–
Если под несколькими потоками данных понимаются несколько временных рядов, то PromQL, поддерживаемый VictoriaMetrics, легко позволяет производить вычисления над такими рядами и над группами рядов. См. https://medium.com/@valyala/promql-tutorial-for-beginne...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

60. Сообщение от valyala (?), 29-Май-19, 14:26	+/–
Все сравниваемые решения - TimescaleDB, InfluxDB и VictoriaMetrics - позиционируют себя как базы данных для работы с временными рядами (time series databases), так что если тут и присутствует манипуляция, то только со стороны разработчиков конкурирующих решений, выбравших некорректное позиционирование.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

61. Сообщение от valyala (?), 29-Май-19, 14:29	+/–
Никто не мешает прикрутить VictoriaMetrics в качестве бэкенда к Zabbix - исходники открыты :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42 Ответы: #68

62. Сообщение от valyala (?), 29-Май-19, 14:38	+/–
Кликхаус - аналитическая СУБД. Ее можно приспособить для хранения метрик, но это требует некоторых усилий: - Нужно выбрать оптимальную схему хранения данных. - Нужно реализовать инвертированный индекс для быстрого поиска по тэгам временных рядов. По следующей ссылке есть сравнительные тесты производительности ClickHouse в качестве хранилища метрик - https://medium.com/@AltinityDB/clickhouse-for-time-seri... . Если сравнивать производительность с VictoriaMetrics, то на легких запросах VictoriaMetrics работает быстрее, а на тяжелых, которые сканируют десятки миллионов строк, производительность примерно одинакова.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

63. Сообщение от valyala (?), 29-Май-19, 14:45	+1 +/–
Есть следующие способы просмотра метрик, сохраненных в VictoriaMetrics: - Строить дашборды в Grafana с помощью датасорса к Prometheus, используя PromQL. - Использовать Prometheus API, поддерживаемый VictoriaMetrics - https://prometheus.io/docs/prometheus/latest/querying/api/ - Выгружать нужные метрики в сыром виде и потом анализировать удобным для вас способом - https://medium.com/@valyala/analyzing-prometheus-data-w...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54

64. Сообщение от Andrey Mitrofanov_N0 (?), 29-Май-19, 15:25	–1 +/–
> VictoriaMetrics хорошо жмет данные перед сохранением на диск. Например, в 70 раз > лучше, чем TimescaleDB и примерно в 10 раз лучше, чем Prometheus. > Вот тут можно почитать, почему ойспадя, lha против pkarc-а... детство, дос, велосипедики-паровозики...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57 Ответы: #66

65. Сообщение от Andrey Mitrofanov_N0 (?), 29-Май-19, 15:41	–1 +/–
> Кому не хватает умишка - ну, судьба громадных инстансов zabbix (который как > раз mysql Чего там у них с Судьбой-то?  Яндекс со слоникомвдоме замучали насмерть?.... >использует вместо tsdb, точнее, до последней версии использовал, сейчас > вроде научился, правда, как обычно у авторов, чему-то странному) служит последним > предупреждением. Или первым факапом, кому как повезет. А конкретнее? Апокалипс -- сегодня и каждый вечер на арене? > Да, они там напихали огромное количество костылей и подпорок, чтобы оно вообще > как-то у кого-то работало, но за прошедшие десять лет уже даже > его авторам понятно, что идея "компьютеры стали достаточно быстрыми, чтобы обойтись > sql'ем" была неудачной (а выбор mysql/postgres с неосиляторством sqlite - неудачным > вдвойне). Ага, Вы я вижу знакомы с Авторами.   Пригласите их сюда, пусть сами за себя, ладно? "" Мускул умер, посгре умер, сиквел умер...  Всех их задавил пох своей жирной #zabbix. ""  Продолжай про "...бороздят просторы Большого Театра". ///"" -- А вдоль дорог мёртвые с косами -- стоять!  -- Б----я-а. ""
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #67

66. Сообщение от пох. (?), 29-Май-19, 17:36	–1 +/–
> This is 10x times better than 4 bytes per data point for the same data in Prometheus это, чувак, не lha. Это примерно zip против rll compression.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #64 Ответы: #71

67. Сообщение от пох. (?), 29-Май-19, 17:41	+/–
> Ага, Вы я вижу знакомы с Авторами. я, в отличие от некоторых, слишком хорошо знаком с их поделкой - включая поиски "где ж эта тварь в очередной раз помножилась на ноль" (прекрасный сишный спагетти-код с миллиардом не проверяемых указателей-параметров - это они называют "оптимизацией") и "как перенести 600 автодискаверимых айтимов вместе с историей и автопоиском с одного хоста на другой - поскольку приложение, внезапно, переехало, кто бы мог подумать, что так бывает!" (прекрасный веб-интерфейс, который этого не умеет, и прекрасная структура базы данных, не документированная в принципе)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #65 Ответы: #72

68. Сообщение от пох. (?), 29-Май-19, 17:45	+1 +/–
видели бы вы те исходники (жабикса, в смысле)...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #61 Ответы: #70

69. Сообщение от Аноним_number_X (?), 29-Май-19, 23:59	+/–
"Так всё зависит от условий" - дык, я спорю? Кластер велосипедистов (С) для ядрен батона нужен геораспределенный :), а полуглобус на 4 гусеницах (в Кубинке стоит, кстати) через эпицентр тактического через 30 минут может(ну, должен, по крайней мере) идти. Все от задач зависит, да, опять таки, я не говорю что Х - это плохо или хорошо, не нужно за меня додумывать и переубеждать меня :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

70. Сообщение от Аноним_number_X (?), 30-Май-19, 00:05	+/–
Вот, честно, сам не смотрел, но с удовольствием от нах/пох (кстати, а лох есть? не в обиду, юмор) почитал бы пару строк про как?чество сей СУБД
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68 Ответы: #75

71. Сообщение от Andrey Mitrofanov_N0 (?), 30-Май-19, 10:59	+/–
>> This is 10x times better than 4 bytes per data point for the same data in Prometheus > это, чувак, не lha. Это примерно zip против rll compression. Я т-тя умоляю... Чтоб 10ха получить, надо не писать данные на диск часок-другой, или делать запись дважды - полнве несжатые, фактически данные каждую секунду или типа, и пере-сжимать их раз в час или сколько там. Быстро не писать на диск все умеют https://duckduckgo.com/?q=postgresql+running+with+scissors&t... И пересжиманием архивов другим, более модным архиватором, тоже все в детстве баловались. А тут, вищь ты, новый маркетинговый булшит завезли -- time series DB. Новый выпуск "академиков" со свежмим хрустящими дипломами. Слайдики многоцветные, в глазах рябит. Инвестиции -- миллионами. " А не прикрутить ли ОНО к Zabbix-у?  Будет же хоро-шоу!  Да-а?1 "- вопрошают стада непуганых детей.   ...и только мудрый пох знает: забикса уже не спасти, надо успеть продать RRD и 10хе, пока не сдулись.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66 Ответы: #73

72. Сообщение от Andrey Mitrofanov_N0 (?), 30-Май-19, 11:05	–1 +/–
>> Ага, Вы я вижу знакомы с Авторами. > я, в отличие от некоторых, слишком хорошо знаком с их поделкой - То есть про авторов - "" но за прошедшие десять лет уже даже его авторам понятно, что идея "компьютеры стали достаточно быстрыми, чтобы обойтись sql'ем" была неудачной (а выбор "" - этт Вы разговаривали за других? > (прекрасный веб-интерфейс, который этого не умеет, и прекрасная структура базы данных, > не документированная в принципе) Это прекрасно.  Да-да, конечно.  Продолжайте бороздить посторы Большого.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67 Ответы: #74

73. Сообщение от valyala (?), 30-Май-19, 14:07	+2 +/–
>>> This is 10x times better than 4 bytes per data point for the same data in Prometheus >> это, чувак, не lha. Это примерно zip против rll compression. > Я т-тя умоляю... Чтоб 10ха получить, надо не писать данные на диск > часок-другой, или делать запись дважды - полнве несжатые, фактически данные каждую > секунду или типа, и пере-сжимать их раз в час или сколько > там. VictoriaMetrics скидывает данные на диск раз в секунду. См. https://medium.com/@valyala/wal-usage-looks-broken-in-m... . Что касается пересжатия, то вы правы - под капотом используются Log-structured merge tree, которая пережимает данные в более крупные блоки - https://medium.com/@valyala/how-victoriametrics-makes-i...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #71 Ответы: #76

74. Сообщение от пох. (?), 30-Май-19, 22:23	–1 +/–
> То есть про авторов - > "" но за прошедшие десять лет уже даже его авторам понятно, что > - этт Вы разговаривали за других? это очевидный вывод из их (не особо удачной) попытки таки добавить tsdb в последнюю версию. >> (прекрасный веб-интерфейс, который этого не умеет, и прекрасная структура базы данных, >> не документированная в принципе) > Это прекрасно.  Да-да, конечно.  Продолжайте бороздить посторы Большого. продолжайте извлекать информацию из астрала, ага. Главное. ни в коем случае не пытайтесь пользоваться - а то внезапно полученные знания реального мира могут ненароком разрушить ваш розовый мирок.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #72 Ответы: #77

75. Сообщение от пох. (?), 30-Май-19, 22:41	+1 +/–
> Вот, честно, сам не смотрел, но с удовольствием от нах/пох (кстати, а > лох есть? не в обиду, юмор) почитал бы пару строк про > как?чество сей СУБД я не умею в игого, поэтому оценить именно качество кода не смогу. А не глядя в код объективную оценку софту давать сложно - у автора любой программы всегда есть индульгенция вида "софта без глюков не бывает", и "подумаешь, ошибка, вот, уже исправили". Поди отличи дейсвительно случайную и трудноуловимую от последствий тяп-ляп кодинга и оптимизаций ценой отказа от проверок.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

76. Сообщение от Andrey Mitrofanov_N0 (?), 31-Май-19, 11:42	+/–
> VictoriaMetrics скидывает данные на диск раз в секунду. См. https://medium.com/@valyala/wal-usage-looks-broken-in-m... > . > Что касается пересжатия, то вы правы - под капотом используются Log-structured merge > tree, которая пережимает данные в более крупные блоки - Аминь. Я уже почти готов "хотеть в Zabbix", как тот Аноним.  Но мне, пожалуйста, cstore_fdw переместите куда поближе к основному стору и обычным wal-логам с чекпоинтами (вот, как в Виктории -- с 10икс)  --  в PostgreSQL.  Мож лет через 3-5 запилят плагины для стораджа, не для "источника данных"... молитвами TimescaleDB, под шумок и инветиции... вот тогда и поглядим. А пока "взрывающийся sql"(c)пох  моё продакшен-всё.  Партишонинг уже вот-вот почти,  шардинг?  может быть.  TimescaleDB? с дубу рухнул я что ли... И обязательно: на халяву, бесплатно и с поддержкой от _сообщетва_, а не молодых-ранних-проинвестированных single-апстримов. (И да, пока не прибежал тот другой ушибленный -- "бери исходники и паччь" тоже не сюда. спасибо, сам пошёл.)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #73

77. Сообщение от Andrey Mitrofanov_N0 (?), 31-Май-19, 11:54	–2 +/–
>> То есть про авторов - >> "" но за прошедшие десять лет уже даже его авторам понятно, что >> - этт Вы разговаривали за других? > это очевидный вывод из их (не особо удачной) попытки таки добавить tsdb > в последнюю версию. Автоаночо.  А то же я подумал, что у тебя мускулы в докерах "взрываются"(тм), а это оказывается.... ....неудачи авторов с тсдб -- твой сиквел порвали. В клочья, да.   " Это забикс виноват "-частушка.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74

78. Сообщение от Аноним (78), 01-Июн-19, 15:00	+/–
Интересно, почему с graphite это дело сравнивается так, как будто graphite бесконечно устаревшая и неюзабельная штуковина?
Ответить | Правка | Наверх | Cообщить модератору

79. Сообщение от qsdg (ok), 20-Июл-19, 03:05	–1 +/–
> ... если не нагружать GC. А не нагружать ГЦ автор этой ВикторияМятрикс умеет хорошо, его https://github.com/valyala/fasthttp не делает вообще аллокаций.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема