OpenNET: статья - Настройка системы учета трафика с использованием FreeBSD 8.0, Netams-3.4.5 и libpcap (statistic monitoring netams traffic)

Ключевые слова: statistic, monitoring, netams, traffic, (найти похожие документы)
From: Артур Ломсадзе <ail-man@yandex.ru.> Newsgroups: email Date: Mon, 22 Mar 2010 17:02:14 +0000 (UTC) Subject: Настройка системы учета трафика с использованием FreeBSD 8.0, Netams-3.4.5 и libpcap Настройка детальной статистики о трафике с возможностью просмотра по выборке через веб-интерфейс на FreeBSD 8.0 с использованием Netams-3.4.5 и libpcap. Одной из важнейших задач системного администрирования является учет трафика в сети с целью дальнейшего просмотра, анализа и сравнения. Одни, более продвинутые, решают данную задачу написанием собственных скриптов, парсеров и веб-интерфейсов. Другие, пытаясь найти готовые для этого решения, часто разочаровываются, не находя тех, которые подходят под конфигурацию данной сети и требования руководства. Однако, благодаря ребятам с ООО "Нетамс" (http://www.netams.com/), которые занимаются разработкой средств учета и управления сетевым трафиком с 1999 года, "родился на свет замечательный пакет" под незатейливым названием Netams. О нем и пойдет речь. Цитируя http://www.netams.com/index.html: NeTAMS (Network Traffic Accounting and Monitoring Software) - многофункциональная программа по учету и управлению IP-трафиком для маршрутизаторов Cisco или компьютеров под управлением Unix (Linux/FreeBSD/Solaris). Поддерживаются различные методы сбора статистики (tee/divert/ip_queue/ulog/libpcap/netflow v5 и v9/netgraph), хранения в базе данных (BerkleyDB/MySQL/PostgresSQL/Oracle/Radius), агрегирования, отображения, оповещения и пр. Можно проводить блокировку на базе квот, авторизации, исчерпании баланса (биллинг); управлять полосой пропускания, контролировать подмену MAC-адреса, делать связь с RADIUS, создавать гибкие политики учета и фильтрации (полный список). На момент написания данной статьи последняя "зарелизенная" версия - 3.4.5 (к сожалению, в портах FreeBSD 8.0 ее нет, поэтому качаем отсюда), в которой в отличие от более старых версий, исправлены многие ошибки в веб-интерфейсе. И самым важным ее плюсом можно считать то, что она умеет выдавать отчеты по трафику за любой период времени по любой выборке (пользователь сам вводит через интерфейс параметры: кто, с какого порта, куда, на какой порт и т.д.), а так же графические отчеты, которые так радуют глаз руководства. Ну, и естественно ее OpenSource-ность. И так, приступим! Что имеем (буду описывать схему, реализованную у себя): машинка с FreeBSD 8.0, используемая в качестве шлюза в интернет для сети компании (можно использовать любой файрволл: PF, IPF, IPFW - не важно, т.к. поток информации на Netams будет сливать libpcap, который никак не связан с файрволлами) с 2-мя WAN-интерфейсами (к примеру if1 и if2) (основной и резервный), 1 LAN (if0). 1. Ставим Apache 2.2 Он у нас потребуется для веб-интерфейса Netams'а # cd /usr/ports/www/apache22 # make install clean Все опции установки оставляем по-умолчанию. В файле конфигурации веб-сервера, который лежит в каталоге /usr/local/etc/apache22/httpd.conf, ничего не трогаем. Добавляем в /etc/rc.conf строчку для запуска apache22: # echo 'apache22_enable="YES"' >> /etc/rc.conf и затем запускаем его # /usr/local/etc/rc.d/apache22 start Проверяем работу демона: # ps -ax | grep httpd В ответ мы получим примерно такое: 1357 ?? Ss 0:01.29 /usr/local/sbin/httpd -DNOHTTPACCEPT 1388 ?? I 0:01.03 /usr/local/sbin/httpd -DNOHTTPACCEPT 1389 ?? I 0:00.20 /usr/local/sbin/httpd -DNOHTTPACCEPT 1390 ?? I 0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT 1391 ?? I 0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT 1392 ?? I 0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT 1627 ?? I 0:01.13 /usr/local/sbin/httpd -DNOHTTPACCEPT 1786 ?? I 0:00.21 /usr/local/sbin/httpd -DNOHTTPACCEPT 1787 ?? I 0:00.06 /usr/local/sbin/httpd -DNOHTTPACCEPT 1788 ?? I 0:00.21 /usr/local/sbin/httpd -DNOHTTPACCEPT 2. Ставим MySQL-Server 5.0 Для работы Netams-3.4.5 потребуется база данных, где он будет хранить всю статистику. Поэтому ставим mysql50-server (mysql51 не подойдет, т.к. с ним он не работает, а более новые версии не проверял). # cd /usr/ports/databases/mysql50-server # make install clean После окончания установки добавляем в /etc/rc.conf строчку для его запуска # echo 'mysql_enable="YES"' >> /etc/rc.conf и запускаем # /usr/local/etc/rc.d/mysql-server start Проверяем, запустился ли он # ps ax | grep mysql вывод должен быть примерно таким 1233 v0- I 0:00.01 /bin/sh /usr/local/bin/mysqld_safe \ --defaults-extra-file=/var/db/mysql/my.cnf --user=mysql --datadir=/var/db/mysql --socket=/tmp/m 1270 v0- S 1:15.42 /usr/local/libexec/mysqld --defaults-extra-file=/var/db/mysql/my.cnf \ --basedir=/usr/local --datadir=/var/db/mysql --pid-file=/var/ Задаем пароль для root mysql-server'а, защищая от недоброжелателей # usr/local/bin/mysqladmin -u root password 'new_password' где new_password - пароль, который вы хотите установить. 3. Ставим сетевой сниффер libpcap. Через него Netams будет собирать статистику. # cd /usr/ports/net/libpcap && make install clean 4. Ставим Netams-3.4.5. Для начала нужно скачать его новый порт для FreeBSD. Для этого перейдем, например, в каталог: # cd /usr/ports/net-mgmt затем скачиваем порт # fetch http://www.netams.com/files/netams-freebsd-port.tgz Распаковываем архив: # tar -zxvf netams-freebsd-port.tgz Появится папка freebsd-port. Переименуем ее (для понятности): # mv /usr/ports/net-mgmt/freebsd-port /usr/ports/net-mgmt/netams345 Редактируем Makefile: # ee /usr/ports/net-mgmt/netams345/Makefile в нем находим строчку: mysqlclient.16:${PORTSDIR}/databases/mysql51-client \ и полностью ее удаляем и сохраняем файл. Для чего это делается. Дело в том, что Нетамс, как я уже говорил, не работает с mysql51. Во-вторых, ему совсем наплевать на то, что у вас и так уже стоит mysql50 (server и client), и он начинает устанавливать mysql51 (т.к. в Makefile прописаны зависимости), а затем после долгой компиляции он начинает ругаеться, чтобы вы удалили mysql50 перед установкой новой версии mysql51. В итоге - ни mysql-ля ни netams'а. Вываливается с ошибкой. После того, как удалили ненужную строчку, уже спокойно делаем: # cd /usr/ports/net-mgmt/netams345 && make install clean Когда он спросит в процессе установки зависимого порта GD выбрать опции, отметьте галочкой последнюю (ICONV). Раньше, например, в версии 3.4.1, чтобы отображать графические отчеты требовалось ставить руками дополнительные пакеты. Сейчас он скомпилирует все сам. Сидим и наслаждаемся процессом. После установки, появляется папка /usr/local/etc/netams/, где лежит пример конфигурационного файла. Подправим его под свои нужды. # cp /usr/local/etc/netams/netams.conf.sample /usr/local/etc/netams/netams.conf # ee /usr/local/etc/netams/netams.conf #NeTAMS version 3.4.5 (work config) #begin #global variables configuration debug none # Задаем имя пользователя и пароль для доступа к Нетамсу user name admin real-name Admin password aaa email root@localhost permit all #services configuration service server 0 login local listen 20001 max-conn 6 service processor 0 lookup-delay 60 flow-lifetime 180 # Указываем порты, которые будут отображаться на графике. policy name ip target proto ip # весь IP-траффик policy name www target proto tcp port 80 81 8080 3128 443 # WWW policy name ftp target proto tcp port 20 21 # FTP policy name pop3 target proto tcp port 110 # POP3 policy name smtp target proto tcp port 25 # SMTP policy name ipsec target proto esp # IPSEC policy name rdp target proto tcp port 3389 5589 3390 5590 5593 37777 # RDP & PORT-MAPPING RDP policy name ssh target proto tcp port 22 # SSH restrict all drop local pass # Задаем группы unit group name IT acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit group name BUH acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit group name FS acct-policy ip www ftp pop3 smtp rdp ssh ipsec # Задаем юниты, за которыми будем наблюдать unit host name WAN1 ip A.A.A.A acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit host name WAN2 ip B.B.B.B acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit net name LAN ip 192.168.99.0/24 acct-policy ip www ftp pop3 smtp rdp ssh ipsec # IT unit user name user1 ip 192.168.99.1 parent IT acct-policy ip www ftp pop3 smtp rdp ssh unit user name user2 ip 192.168.99.2 parent IT acct-policy ip www ftp pop3 smtp rdp ssh unit user name user3 ip 192.168.99.3 parent IT acct-policy ip www ftp pop3 smtp rdp ssh # BUH unit user name user4 ip 192.168.99.4 parent BUH acct-policy ip www ftp pop3 smtp rdp ssh unit user name user5 ip 192.168.99.5 parent BUH acct-policy ip www ftp pop3 smtp rdp ssh unit user name user6 ip 192.168.99.6 parent BUH acct-policy ip www ftp pop3 smtp rdp ssh # FS unit user name user7 ip 192.168.99.7 parent FS acct-policy ip www ftp pop3 smtp rdp ssh unit user name user8 ip 192.168.99.8 parent FS acct-policy ip www ftp pop3 smtp rdp ssh unit user name user9 ip 192.168.99.9 parent FS acct-policy ip www ftp pop3 smtp rdp ssh # Указываем, где будем хранить статистику (в mysql) service storage 0 type mysql user root password new_password # пароль указываем тот, который установили для root mysql-сервера accept all # указываем источники пакетов service data-source 1 type libpcap source if0 layer7-detect urls service data-source 2 type libpcap source if1 layer7-detect urls service data-source 3 type libpcap source if2 layer7-detect urls # здесь можно устанавливать квоты service quota 0 policy ip notify soft {owner} notify hard {owner} admin notify return {owner} storage 1 # включаем сервис мониторинга (то, что нас больше всего интересует) service monitor 0 monitor to storage 0 monitor unit WAN1 monitor unit WAN2 monitor unit LAN service alerter 0 report oid 06100 name rep1 type traffic period day detail simple smtp-server localhost # указываем ему путь, где он будет хранить файлы отчетов service html 0 path /usr/local/www/netams/stat run 10min htaccess yes client-pages all url http://192.168.99.177/netams/ language ru service scheduler oid 08FFFF time 5min action "html" # $Id: netams.conf,v 1.2 2009-01-31 12:49:01 anton Exp $ #end Конфиг готов, сохраним его. Теперь добавляем в rc.conf строчку для запуска нет-амса: # echo 'netams_enable="YES"' >> /etc/rc.conf и запускаем его: # /usr/local/etc/rc.d/netams start Проверяем, запущен ли он. Пытаемся соединиться с ним на 20001 порту: # telnet localhost 20001 Вводим логин и пароль: Username: admin Password: aaa Если успешно вошли, значит Нетамс запущен. Пробуем вводить команды: # html # save # show config #NeTAMS 3.4.5 (3490.1) root@elproxy.el.dialine.org / Tue 16 Mar 2010 18:51:08 +0300 #configuration built Wed Mar 17 11:24:24 2010 #begin #global variables configuration debug none language ru user oid 0D85FF name admin real-name "Admin" crypted $1$$HpXmjtul/3i1.bf.B27bU. email root@localhost permit all #services configuration service server 0 login local listen 20001 max-conn 6 service processor lookup-delay 60 flow-lifetime 180 policy oid 01D5F8 name ip target proto ip policy oid 0E8D83 name www target proto tcp port 80 81 8080 3128 443 policy oid 071E2B name ftp target proto tcp port 20 21 policy oid 002EBC name pop3 target proto tcp port 110 policy oid 0071C0 name smtp target proto tcp port 25 policy oid 0BCA64 name ipsec target proto esp policy oid 090D8E name rdp target proto tcp port 3389 5589 3390 5590 5593 37777 policy oid 052534 name ssh target proto tcp port 22 restrict all drop local pass unit group oid 057B0D name IT acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit group oid 0E1BC0 name BUH acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit group oid 06329F name FS acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit host oid 0F848D name WAN1 ip 0.0.0.0 acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit host oid 0503FE name WAN2 ip 0.0.0.0 acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit net oid 04AA91 name LAN ip 192.168.99.0/24 acct-policy ip www ftp pop3 smtp rdp ssh ipsec unit user oid 00DD6A name user1 ip 192.168.99.1 parent IT acct-policy ip www ftp pop3 smtp rdp ssh unit user oid 090448 name user2 ip 192.168.99.2 parent IT acct-policy ip www ftp pop3 smtp rdp ssh unit user oid 0103E4 name user3 ip 192.168.99.3 parent IT acct-policy ip www ftp pop3 smtp rdp ssh unit user oid 0108DD name user4 ip 192.168.99.4 parent BUH acct-policy ip www ftp pop3 smtp rdp ssh unit user oid 034ED6 name user5 ip 192.168.99.5 parent BUH acct-policy ip www ftp pop3 smtp rdp ssh unit user oid 0FED45 name user6 ip 192.168.99.6 parent BUH acct-policy ip www ftp pop3 smtp rdp ssh unit user oid 0D0452 name user7 ip 192.168.99.7 parent FS acct-policy ip www ftp pop3 smtp rdp ssh unit user oid 0F5DC7 name user8 ip 192.168.99.8 parent FS acct-policy ip www ftp pop3 smtp rdp ssh unit user oid 080611 name user9 ip 192.168.99.9 parent FS acct-policy ip www ftp pop3 smtp rdp ssh service storage 0 type mysql user root password new_password accept all service data-source 1 type libpcap source if0 layer7-detect urls service data-source 2 type libpcap source if1 layer7-detect urls service data-source 3 type libpcap source if2 layer7-detect urls service quota policy ip notify soft owner notify hard owner notify return owner service monitor 0 monitor to storage 0 monitor unit WAN1 monitor unit WAN2 monitor unit LAN service alerter 0 report oid 06100 name rep1 type traffic period day detail simple smtp-server localhost service html path /usr/local/www/netams/stat run 10min url http://192.168.99.177/netams/ htaccess yes client-pages all account-pages none service scheduler oid 08FFFF time 10min action "html" #end # show version NeTAMS 3.4.5 (3490.1) root@elproxy.el.dialine.org / Tue 16 Mar 2010 18:51:08 +0300 Run time 3 mins 44.1445 secs System time: 3 mins 0.0984 secs Average CPU/system load: 0.04% Process ID: 44053 RES: 4920K Memory allocated: 1803131 (411), freed (60) (0 NULL) [351 used] Total objects: Oids used: 25 NetUnits: 15 Policies: 8 Services: 15 Users: 1 Connections: 1 active, 2 total Services info: Storage ID=0 type mysql wr_q 0/0 rd_q 0/0 Data-source ID=1 type LIBPCAP source if0:0 loop 0 average 0 mcsec Perf: average skew delay 0 mcsec, PPS: 0, BPS: 0 Data-source ID=2 type LIBPCAP source if1:0 loop 0 average 0 mcsec Perf: average skew delay 0 mcsec, PPS: 0, BPS: 0 Data-source ID=3 type LIBPCAP source if2:0 loop 0 average 0 mcsec Perf: average skew delay 0 mcsec, PPS: 0, BPS: 0 Alerter 0 queue max: 255, current: 0 Scheduled tasks: 1 # show monitor service monitor 0 monitor to storage 0 0 flows in 0 commits Units: WAN1(0F848D)WAN2(0503FE)LAN(04AA91) Packets monitored: 172 Если вывод этих команд у вас примерно такой же, то поздравляю! Нетамс у вас установлен правильно и работает. Теперь перейдем к настройке веб-интерфейса программы. В каталоге /usr/local/etc/apache22/Includes/ должен лежать файл netams-apache-freebsd.conf с таким содержанием (если файла нет, то создайте его, но обычно после установки Нетамс он там уже лежит): <Location /netams> Options Indexes FollowSymLinks MultiViews Order allow,deny allow from all DefaultLanguage ru AddDefaultCharset WINDOWS-1251 </Location> <Location /netams/cgi-bin> AuthUserFile /usr/local/www/netams/stat/.htpasswd Options Indexes FollowSymLinks MultiViews ExecCGI Order allow,deny allow from all DefaultLanguage ru AddDefaultCharset WINDOWS-1251 </Location> Alias /netams /usr/local/www/netams AddHandler cgi-script .cgi Также в каталоге /usr/local/www должна лежать папка netams с самим веб-инетрфейсом. Внтури этой папки каталог cgi-bin. Даем права на запуск всех файлов, лежащих в этом каталоге: # chmod -R +x /usr/local/www/netams/cgi-bin Теперь редактируем два файла: # ee /usr/local/www/netams/cgi-bin/config.cgi В строке $sql_password="" прописываем пароль, который у нас стоит на mysql, т.е. $sql_password="new_password". Затем в строке $sc_passwd="aaa" указываем пароль, который мы поставили на Нетамс (если его не меняли, то оставляем как есть). Второй файл редактируем аналогичным образом. # ee /usr/local/www/netams/cgi-bin/admin/config.cgi Сохраняем файл и даем команду на перезагрузку веб-сервера: # /usr/local/etc/rc.d/apache22 restart Теперь заходим через браузер в веб-интерфейс: http://your.freebsd.ip/netams/ Объяснять, что там к чему, не стану, т.к. это займет больше места, чем описание установки и настройки. Тем более на каждой странице есть маленькая кнопочка "Help", которая выдаст подсказку. Скажу только, что графики вы можете просматривать в "Administration interface" -> "Statistics", а мониторить трафик по выборке (кто, с какого порта, куда, на какой порт и т.д.) в "Administration interface" -> "Monitor". Возможности действительно впечатляют! Например, если настроена прозрачная VPN-сеть между филиалами, то можно просмотреть, сколько трафика и по каким портам ушло с любого компьютера 1-го филиала на любой компьютер (или группу) 2-го филиала. По всем вопросам обращайтесь: ICQ: 493552460, e-mail: ail-man@yandex.ru

2.4, PavelR (??), 11:57, 28/03/2010 [^] [^^] [^^^] [ответить]

+/–

>[оверквотинг удален]
>Netgraph и обработка вся в ядре, а конфиг буквально из 5
>строк?
>
>ngctl mkpeer em1: netflow lower iface0
>ngctl name em1:lower netflow
>ngctl connect em1: netflow: upper out0
>ngctl msg netflow: setconfig { iface = 0 conf = 7 }
>
>ngctl mkpeer netflow: ksocket export inet/dgram/udp
>ngctl msg netflow:export connect inet/ip.ad.d.r:port

В давние времена я делал патчик, чтобы заворачивать на нетамс траффик через ipfw.
Очень нужная вещь на машине, делающей nat.
Возможно, что сейчас нетамс это позволяет делать из коробки. Патч разработчикам не высылался..

http://debian.nikolas.ru/debian/netams/

ngctl mkpeer ipfw: netams 60 if_in
ngctl name ipfw:60 netams
ngctl connect netams: ipfw: if_out 61
ngctl msg netams: mode 2
ngctl msg netams: debug $DEBUG
ngctl msg netams: setdefault $DEFAULTPOLICY
ngctl msg netams: dlt 12

ipfw add 04450 netgraph 60 ip from any to any in via vlan0
ipfw add 06000 netgraph 61 ip from any to any out via vlan0

3.5, анонимус (??), 11:07, 29/03/2010 [^] [^^] [^^^] [ответить]	+/–
Используем netams в провайдинге около года. Лично сделал и послал автору множество патчей. Выводы: очень неудобно. Кто додумался сделать такой вырвиглазный неструктурированный вывод на telnet интерфейсе? А ведь именно он используется для парсинга в cgi оболочке. Это просто ужасно, парсить невозможно, добавить своё поле к выводу очень трудно (полетит ВЕСЬ веб интерфес из за парсинга cgi ПО ПРОБЕЛАМ тупо), нету даже описаний пользователей (то есть адреса и телефоны забивать тупо некуда, но я реализовал это прямо на базе данных), вывод пользовательской статистики юзеру весь СТАТИЧЕСКИЙ (то есть на тыщу пользователей имеем СОТНИ гигабайт статически нагеренного html). Плюс ко всему нулевая расширяемость (нет системы, нельзя доставить новый сервер и связать несколько серверов). Плюс ко всему автор бросил проект (1% времени на проект не в счёт) и пишет другой биллинг, закрытый, платный, проприетарный. Мы рашили либо написать свой биллинг (на базе ipfw\dummynet и ng) либо переходить на abills, но последнего боимся, так как он украинский (а все мы знаем чем это чревато, и имели дело с представителями незалежной)

4.7, serg (??), 11:23, 29/03/2010 [^] [^^] [^^^] [ответить]	+/–
>переходить на abills, но последнего боимся, так как он украинский (а >все мы знаем чем это чревато, и имели дело с представителями >незалежной) чем в опенсурс проекте это чревато?

5.8, анонимус (??), 11:46, 29/03/2010 [^] [^^] [^^^] [ответить]	+/–
>чем в опенсурс проекте это чревато? ну вы знаете в таких случаях говорят "да вроде ничо, но неприятное ощущение осталось". стараемся избегать иными словами.

2.6, serg (??), 11:22, 29/03/2010 [^] [^^] [^^^] [ответить]	+/–
хаутушку бы

3.9, PavelR (??), 20:59, 29/03/2010 [^] [^^] [^^^] [ответить]	+/–
>хаутушку бы патчить - командой patch. Пример использования - в том же сообщении. Какие вопросы ?