Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
Сообщение от opennews (??), 08-Ноя-23, 23:41
Опубликован релиз Netflow/IPFIX коллектора Xenoeye 23.11, позволяющего собирать  с различных сетевых устройств статистику о потоках трафика, передаваемую с использованием протоколов Netflow v5, v9 и IPFIX, а также обрабатывать данные, генерировать отчёты и строить графики.  Ядро проекта написано на языке С, код распространяется под лицензией ISC... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=60077
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 08-Ноя-23, 23:41	+1 +/–
GEOIP показывает страну с точностью в районе 15000км, а вы долготу и широту угадывать собрались. Это называется попробуй придумать нечто более бесполезное и ненадёжное.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2, #8

2. Сообщение от OpenEcho (?), 09-Ноя-23, 00:19	+1 +/–
> с точностью в районе 15000км халявной максмайнд базой пользуетесь?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #3

3. Сообщение от penetrator (?), 09-Ноя-23, 05:17	+/–
альтернативы?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #9

7. Сообщение от San (??), 09-Ноя-23, 08:15	+2 +/–
А sflow он не умеет? очень жаль :(
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #12, #34

8. Сообщение от Аноним (8), 09-Ноя-23, 08:23	+1 +/–
Широта и долгота есть в базах ipapi. Это просто широта и долгота города, плюс-минус. Эти данные используют для того чтобы показать "точки" (или пятна) на карте мира. Менеджерам среднего звена и скучающим домохозяйкам такие карты с пятнами нравятся. Загуглите geoip, там будут такие картинки. Их делают как раз из этих данных.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

9. Сообщение от onanim (?), 09-Ноя-23, 08:35	–3 +/–
платная база, очевидно же. если нищeбpод или паспорт не того цвета - можно купить базу на торрентах.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3

11. Сообщение от Аноним (11), 09-Ноя-23, 08:55	+/–
>экспортирует данные в PostgreSQL Хотелось бы в influxdb, оно для этих целей больше годится, или там postgre надо с timescaledb собирать?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #13, #24

12. Сообщение от Аноним (8), 09-Ноя-23, 08:59	+/–
Откройте ишшуй на гитхабе, если не сложно. Можно на русском. Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют. Или хотя бы дамп + пояснения. Насколько я понимаю, сделать полноценную поддержку sFlow довольно сложная задача. Он же умеет экспортировать кусочки пакетов. Если делать нормально, то нужно уметь парсить эти кусочки, причем придется писать практически все заново. *DPI проекты не заточены на такое, им нужны пакеты целиком
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #17, #29

13. Сообщение от Аноним (8), 09-Ноя-23, 09:08	+2 +/–
>Хотелось бы в influxdb, оно для этих целей больше годится Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут. Наберите в гугле "influxdb performance issues", удивитесь. Как ни странно, обычный постгрис, без timescaledb - очень, очень неплохой вариант. То есть мы можем дописать экспорт в вашу любимую БД, это несложно. Коллектор будет генерировать текстовые файлы в другом формате. Откройте ишшуй на гитхабе, если вам действительно нужно. Но сами у себя пользоваться influxdb мы точно не станем
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #14, #21

14. Сообщение от Аноним (11), 09-Ноя-23, 09:50	+/–
Погоняю на postgre, посмотрю как оно. У меня сейчас netflow на допотопном nfcapd, когда нужно было что-то поставить ничего кроме него не нашлось, а ваш проект поживее выглядит, надеюсь что продолжит развиваться.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #15, #28

15. Сообщение от Третий П (?), 09-Ноя-23, 10:07	+1 +/–
> Погоняю Вот он, настоящий линукс-гейминг.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

16. Сообщение от ivan_erohin (?), 09-Ноя-23, 10:16	+1 +/–
эхехе где же вы были в моем 2005 году ? нетфлоу коллектором мне пришлось заводить какую-то индусскую поделку на java и ту под виндой. что-то оно даже показывало, но тормоза и глюки доставали.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #18, #23

17. Сообщение от San (??), 09-Ноя-23, 11:38	+/–
Да нет меня на гитхабе и не будет к сожалению :( Если внесете sflow в планы, то для генерации sflow можно использовать pmacct. Он умеет это с помощью плагина sfprobe
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #20

18. Сообщение от Аноним 80_уровня (ok), 09-Ноя-23, 12:14	+/–
В 2004 уже был flow-capture из flow-tools. Показывать, конечно, сам ничего не показывал, он же коллектор, а собирал исправно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

19. Сообщение от Аноним (19), 09-Ноя-23, 12:40	–1 +/–
Опять на Сях, писать блин больше не на чем чтоли? Нечитаемая каша в итоге, как всегда.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #22, #39

20. Сообщение от Аноним (8), 09-Ноя-23, 13:18	+1 +/–
> меня на гитхабе и не будет Кто-то уже создал issue, все нормально. Хорошо, я поговорил с нашими сетевыми гуру, они пообещали найти железку с sFlow для экспериментов. Посмотрим еще на host-generated sFlow. Не могу обещать, что поддержка появится скоро, но в планы ее точно добавили
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

21. Сообщение от Аноним (34), 09-Ноя-23, 14:56	+2 +/–
> Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут. Практически все БД так себя ведут, вопрос только в пороговой нагрузке. С influx вы приехали раньше, с постгресом приедете чуть позже. Исключением являются разве что OLAP, например, кликхаус, способный жрать миллионы записей в секунду. Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в БД, а в брокер (как правило, Kafka), из которого отдельный компонент уже выгребает и вставляет в БД. Благодаря нефиговым возможностям горизонтального масштабирования кафки, эта штука может переварить гигантские пики данных. При прямой вставке в БД, когда поток данных превысить возможности БД, система, скорее всего, просто повиснет (в лучшем случае, если БД настроена хорошо и есть таймауты и реконнекты в клиенте, дело ограничится потерей данных).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #26

22. Сообщение от 1 (??), 09-Ноя-23, 15:12	+2 +/–
Так специальный язык сделали, чтобы нечитаемость кода увеличилась на порядок. Жаль, что его нельзя называть.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

23. Сообщение от Аноним (23), 09-Ноя-23, 15:29	+/–
> где же вы были в моем 2005 году ? Использовали ipcad и не парились?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #25

24. Сообщение от LocalObserver (?), 09-Ноя-23, 16:15	+/–
Я пробовал Influx с Netflow-данными и он показался тормозным и сильно жрущим дисковое пространство. Сейчас гляжу в сторону VictoriaMetrics, он вроде получше.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #35

25. Сообщение от ivan_erohin (?), 09-Ноя-23, 20:04	+/–
> Использовали ipcad и не парились? он же только экспорт умеет ? я в конце концов подобрал простой и быстрый https://cgit.freebsd.org/ports/tree/net-mgmt/ipacctd разумеется чужой поток netflow он принимать не умел. а потом безлимиты пошли, ничего уже не надо считать, только резать мусор и иногда шейпить.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #27

26. Сообщение от ivan_erohin (?), 09-Ноя-23, 20:14	+/–
> Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в > БД, а в брокер хорошим тоном является не усложнять без особой нужды. иначе будет как у этих: habr.com/ru/companies/leroy_merlin/articles/
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #33

27. Сообщение от sabitov (ok), 09-Ноя-23, 20:26	+/–
ой, вот тут Вы про "считать" не правы! приходит к Вам "товарищмайор" и спрашивает: "а вот вас полгода назад чучело студентообразное из Мухозасиженска атаковало с ип адреса ... что Вы на это можете сказать?" Или как альтернатива: "с ип-адреса (указывается ip-адрес Вашего НАТа) были атаки на ..." И если у Вас таки есть логи фаервола и статистика netflow, то Вы за 2 минуты даёте исчерпывающий ответ, а в противном случае имеете массу приятных мгновений.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25 Ответы: #30

28. Сообщение от sabitov (ok), 09-Ноя-23, 20:29	+/–
> на допотопном nfcapd А чем плох nfcapd + nfsen? Не, я не спорю, мне для общего понимания ситуации :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

29. Сообщение от Аноним (29), 10-Ноя-23, 03:45	+/–
>Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют. Посмотрите софтроутер VyOS, он вроде умеет в sFlow делать экспорт: https://docs.vyos.io/en/latest/configuration/system/sflow.html >VyOS supports sFlow accounting for both IPv4 and IPv6 traffic. The system acts as a flow exporter, and you are free to use it with any compatible collector.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12

30. Сообщение от ivan_erohin (?), 10-Ноя-23, 11:17	+/–
> И если у Вас таки есть логи фаервола и статистика netflow, то ничего не гарантирует, если полицай закусил удила в погоне за палкой или заказом. "ваши логи - поддельный фуфел. вот наши эксперты посмотрят изъятое железо и сами все определят (или нарисуют, неважно)".
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27 Ответы: #31, #32

31. Сообщение от sabitov (ok), 10-Ноя-23, 12:03	+1 +/–
> ничего не гарантирует, если полицай закусил удила в погоне ... Ну, тут есть два момента: 1) я описываю свой личный положительный опыт, 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #36

32. Сообщение от Аноним (32), 11-Ноя-23, 10:03	+/–
полицай (если ему не дали конкретно за тебя денег)  даже не пошевелится твой телефон набрать. Плавали знаем. Если ты не светился в уголовной хронике, можешь забивать и не париться. у меня такой был, в финале позвонил и хотел вызвать на допрос в день рождения. Был послан, страшно удивился, но больше не звонил.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #37

33. Сообщение от Аноним (34), 11-Ноя-23, 12:34	+/–
> хорошим тоном является не усложнять без особой нужды. Естественно. И способность переваривать пики входных данных - это и есть "особая нужда". Потому что система не должна виснуть под нагрузкой.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #38

34. Сообщение от Аноним (34), 11-Ноя-23, 14:48	+/–
> А sflow он не умеет? очень жаль :( goflow2 умеет. Собираем им статистику с наших SRX, работает отлично.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

35. Сообщение от Аноним (34), 11-Ноя-23, 14:54	+/–
IMHO, Prometheus-подобные TSDB - не лучший выбор для таких задач. Если вы хотите агрегацию статистики по сетям хотя бы /20 (например), то кардинальность рядов (количество сочетаний меток для ряда с одним именем) будет зашкаливающей, и даже Victoria может не вывезти. Мы пришли к использованию кликхауса, который отлично переваривает огромные объемы данных и поддерживает аггрегирующие таблицы, что позволяет хранить обобщенные данные за большой период (грубо говоря, как graphite).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

36. Сообщение от glad_valakas (?), 12-Ноя-23, 09:42	+/–
> 1) я описываю свой личный положительный опыт вы могли бы положить на их дурацкие запросы болт. "логов не ведем, даже по закону ярозулиной не обязаны (если тогда был тот закон вообще), обратитесь к аплинку, возможно у них есть". на этом все. > 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди. вестись на добрых полицаев - признак лоховства. кстати ZOGадка: добрый полицай и злой полицай - какой хуже ?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

37. Сообщение от glad_valakas (?), 12-Ноя-23, 09:45	+/–
> позвонил и хотел вызвать на допрос в день рождения. есть у них лайфхак, когда неохота возиться с повестками или отчитываться за повестки: "примите телефонограмму под запись". можно отморозиться.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32

38. Сообщение от glad_valakas (?), 12-Ноя-23, 09:54	+/–
> Естественно. И способность переваривать пики входных данных - > это и есть "особая нужда". где-то мощностей недодали. не вижу ничего "особого".
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33

39. Сообщение от вячеславус (?), 22-Ноя-23, 06:09	+/–
Зато быстро работает.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема