forum.opennet.ru - "Подсчет upload трафика в squid " (12)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Подсчет upload трафика в squid "

Форум Открытые системы на сервере (Учет трафика, статистика)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Подсчет upload трафика в squid "	+/–
Сообщение от danmer (ok) on 06-Май-13, 13:59
Приветствую знатоков. Есть freebsd 8.2, на ней сквид 3.1.20. Есть задача считать upload трафик от клиентов. Сейчас download трафик считается lightsquid, хотелось бы к нему прикрутить также подсчет upload. Попробовал изменить формат лога, так чтобы в access.log писался также размер запроса, в squid.conf добавил строчку logformat squid %ts.tu %>st %>a %Ss/>Hs %<st %rm %ru %un %Sh/%<A %mt ,где собственно %>st - Received request size including HTTP headers. Цифра писаться стала, но она не походит на правду. К примеру загружаю файл 20Мб, а у меня размер запроса - пол-килобайта. Подскажите, плиз, что я делаю не так? Может есть какие то другие способы решения этой задачи?
Ответить \| Правка \| Cообщить модератору

Оглавление

Подсчет upload трафика в squid , pavlinux, 16:41 , 06-Май-13, (1)

Подсчет upload трафика в squid , danmer, 09:51 , 07-Май-13, (4)

Подсчет upload трафика в squid , mcshel, 07:53 , 07-Май-13, (2)

Подсчет upload трафика в squid , danmer, 09:46 , 07-Май-13, (3)

Подсчет upload трафика в squid , Miha, 14:32 , 07-Май-13, (5)

Подсчет upload трафика в squid , danmer, 12:34 , 13-Май-13, (9)

Подсчет upload трафика в squid , mcshel, 19:34 , 07-Май-13, (6) +1

Подсчет upload трафика в squid , danmer, 12:14 , 13-Май-13, (7)

Подсчет upload трафика в squid , mcshel, 12:27 , 13-Май-13, (8)

Подсчет upload трафика в squid , Mr. Mistoffelees, 13:43 , 13-Май-13, (10)

Подсчет upload трафика в squid , danmer, 14:22 , 13-Май-13, (11)

Подсчет upload трафика в squid , mcshel, 18:43 , 13-Май-13, (12)

Сообщения по теме [Сортировка по времени | RSS]

1. "Подсчет upload трафика в squid " +/–

Сообщение от pavlinux (ok) on 06-Май-13, 16:41

> Есть задача считать upload трафик от клиентов.
Зачем? Премии лишать будете?
> Может есть какие то другие способы решения этой задачи?
Понять и простить!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Подсчет upload трафика в squid " +/–

Сообщение от danmer (ok) on 07-Май-13, 09:51

> Зачем? Премии лишать будете?
Премии лишать не будем, но если у кого-то вдруг появляется гигабайтный аплоад, это повод задуматься что и куда сливается.
> Понять и простить!
Прощать будем, если выяснить что сливался не svn, а невинные фоточки с корпоратива.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Подсчет upload трафика в squid " +/–

Сообщение от mcshel (ok) on 07-Май-13, 07:53

> Приветствую знатоков. Есть freebsd 8.2, на ней сквид 3.1.20. Есть задача считать
> upload трафик от клиентов. Сейчас download трафик считается lightsquid, хотелось бы
> к нему прикрутить также подсчет upload. Попробовал изменить формат лога, так
> чтобы в access.log писался также размер запроса, в squid.conf добавил строчку
> logformat squid %ts.tu %>st %>a %Ss/>Hs %<st %rm %ru %un %Sh/%<A %mt
> ,где собственно %>st - Received request size including HTTP headers. Цифра писаться
> стала, но она не походит на правду. К примеру загружаю файл
> 20Мб, а у меня размер запроса - пол-килобайта. Подскажите, плиз, что
> я делаю не так? Может есть какие то другие способы решения
> этой задачи?
Лучше считать трафик сразу на порту. Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Подсчет upload трафика в squid " +/–

Сообщение от danmer (ok) on 07-Май-13, 09:46

> Лучше считать трафик сразу на порту.
Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного фаервола используется pf, но у него на внутреннем интерфейсе уже есть куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но два фаервола корректно не заработали, а разбираться не было времени.
> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.
А есть версия, которая будет логировать?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Подсчет upload трафика в squid " +/–

Сообщение от Miha (??) on 07-Май-13, 14:32

>> Лучше считать трафик сразу на порту.
> Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного
> фаервола используется pf, но у него на внутреннем интерфейсе уже есть
> куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но
> два фаервола корректно не заработали, а разбираться не было времени.
Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами keep-state \ check-state.
Посмотрите в сторону ng_netflow и pmacct.
>> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.
> А есть версия, которая будет логировать?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

9. "Подсчет upload трафика в squid " +/–

Сообщение от danmer (ok) on 13-Май-13, 12:34

>  Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами
> keep-state \ check-state.
>  Посмотрите в сторону ng_netflow и pmacct.
ipfw планировалось использовать без keep-state, просто для подсчета трафика. Однако ipfw не смог почему то подружиться с pf. По поводу ng_netflow и pmacct - спасибо, погуглю.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

6. "Подсчет upload трафика в squid " +1 +/–

Сообщение от mcshel (ok) on 07-Май-13, 19:34

>> Лучше считать трафик сразу на порту.
> Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного
> фаервола используется pf, но у него на внутреннем интерфейсе уже есть
> куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но
> два фаервола корректно не заработали, а разбираться не было времени.
>> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.
> А есть версия, которая будет логировать?
Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и есть сама FreeBSD может  вам MRTG попробовать?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

7. "Подсчет upload трафика в squid " +/–

Сообщение от danmer (ok) on 13-Май-13, 12:14

> Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда
> юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и
> есть сама FreeBSD может  вам MRTG попробовать?
Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap?

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Подсчет upload трафика в squid " +/–

Сообщение от mcshel (ok) on 13-Май-13, 12:27

>> Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда
>> юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и
>> есть сама FreeBSD может  вам MRTG попробовать?
> Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap?
https://www.opennet.ru/opennews/art.shtml?num=36083
Поддержка режима SSL-Bump Server для перехвата содержимого шифрованных HTTPS-сеансов. При поступлении первого перехватываемого HTTPS-запроса, Squid осуществляет SSL-соединение с сервером и получает его сертификат. После этого Squid использует имя хоста из реального полученного от сервера сертификата и создаёт фиктивный сертификат, при помощи которого имитирует запрошенный сервер при взаимодействии с клиентом, продолжая при этом использовать SSL-соединение, установленное с сервером. Кроме HTTPS-соединений, указанная схема может использоваться для перехвата большинства HTTP-запросов с методом CONNECT.
Прошлая реализация SSL-Bump отличалась созданием на первом этапе SSL-соединения между клиентом и Squid и только затем созданием соединения с сервером, что не позволяло использовать в фиктивном сертификате детали реального сертификата, получаемого от сервера. Кроме того, новый метод позволяет работать в ситуациях, когда браузер не передаёт имя хоста при отправке запроса CONNECT;
Режим имитации SSL-сертификата сервера, при котором клиенту, при генерации фиктивного сертификата, транслируются все детали из реального сертификата сервера, что позволяет клиенту более осмысленно принять решение доверять данному сертификату или нет
Может я конечно ошибаюсь.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Подсчет upload трафика в squid " +/–

Сообщение от Mr. Mistoffelees on 13-Май-13, 13:43

Привет,
> Цифра писаться
> стала, но она не походит на правду. К примеру загружаю файл
> 20Мб, а у меня размер запроса - пол-килобайта.
А почему вы решили, что не отвечает на правду? Что, по-вашему, должно быть? Подумайте о том, что именно squid видит как трафик - что в вашем случае является payload поверх L3.
Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна HTTP GET/POST заявка. SYN и все последующие ACK в счет не входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так что не вините squid за то, что вы неверно поставили перед собой задачу.
WWell,

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Подсчет upload трафика в squid " +/–

Сообщение от danmer (ok) on 13-Май-13, 14:22

> А почему вы решили, что не отвечает на правду? Что, по-вашему, должно
> быть? Подумайте о том, что именно squid видит как трафик -
> что в вашем случае является payload поверх L3.
> Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна
> HTTP GET/POST заявка. SYN и все последующие ACK в счет не
> входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так
> что не вините squid за то, что вы неверно поставили перед
> собой задачу.
> WWell,
Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый весьма успешно пишется в лог и подсчитывается, и если я скачаю файл в 20Мб, то он мне 20Мб в лог и запишет (плюс-минус пару процентов). При включении логирования upload, как я написал, при загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе я вижу только несколько килобайт. В этом и проблема. И уже если уже самим сквидом upload не посчитать, придется прибегать к методам подсчета трафика на порту.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Подсчет upload трафика в squid " +/–

Сообщение от mcshel (ok) on 13-Май-13, 18:43

>[оверквотинг удален]
>> собой задачу.
>> WWell,
> Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый
> весьма успешно пишется в лог и подсчитывается, и если я скачаю
> файл в 20Мб, то он мне 20Мб в лог и запишет
> (плюс-минус пару процентов). При включении логирования upload, как я написал, при
> загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе
> я вижу только несколько килобайт. В этом и проблема. И уже
> если уже самим сквидом upload не посчитать, придется прибегать к методам
> подсчета трафика на порту.
Есть способы создать туннель, например используя 443 порт и метод CONNECT(не единственный способ) используя этот туннель не будут срабатывать ACL и логирование трафика так же идти не будет.
Так что лучше смотреть трафик на самом порту.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Подсчет upload трафика в squid "	+/–
Сообщение от pavlinux (ok) on 06-Май-13, 16:41
> Есть задача считать upload трафик от клиентов. Зачем? Премии лишать будете? > Может есть какие то другие способы решения этой задачи? Понять и простить!
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	4. "Подсчет upload трафика в squid "	+/–
	Сообщение от danmer (ok) on 07-Май-13, 09:51
	> Зачем? Премии лишать будете? Премии лишать не будем, но если у кого-то вдруг появляется гигабайтный аплоад, это повод задуматься что и куда сливается. > Понять и простить! Прощать будем, если выяснить что сливался не svn, а невинные фоточки с корпоратива.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору

2. "Подсчет upload трафика в squid "	+/–
Сообщение от mcshel (ok) on 07-Май-13, 07:53
> Приветствую знатоков. Есть freebsd 8.2, на ней сквид 3.1.20. Есть задача считать > upload трафик от клиентов. Сейчас download трафик считается lightsquid, хотелось бы > к нему прикрутить также подсчет upload. Попробовал изменить формат лога, так > чтобы в access.log писался также размер запроса, в squid.conf добавил строчку > logformat squid %ts.tu %>st %>a %Ss/>Hs %<st %rm %ru %un %Sh/%<A %mt > ,где собственно %>st - Received request size including HTTP headers. Цифра писаться > стала, но она не походит на правду. К примеру загружаю файл > 20Мб, а у меня размер запроса - пол-килобайта. Подскажите, плиз, что > я делаю не так? Может есть какие то другие способы решения > этой задачи? Лучше считать трафик сразу на порту. Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	3. "Подсчет upload трафика в squid "	+/–
	Сообщение от danmer (ok) on 07-Май-13, 09:46
	> Лучше считать трафик сразу на порту. Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного фаервола используется pf, но у него на внутреннем интерфейсе уже есть куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но два фаервола корректно не заработали, а разбираться не было времени. > Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT. А есть версия, которая будет логировать?
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	5. "Подсчет upload трафика в squid "	+/–
	Сообщение от Miha (??) on 07-Май-13, 14:32
	>> Лучше считать трафик сразу на порту. > Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного > фаервола используется pf, но у него на внутреннем интерфейсе уже есть > куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но > два фаервола корректно не заработали, а разбираться не было времени. Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами keep-state \ check-state. Посмотрите в сторону ng_netflow и pmacct. >> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT. > А есть версия, которая будет логировать?
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	9. "Подсчет upload трафика в squid "	+/–
	Сообщение от danmer (ok) on 13-Май-13, 12:34
	> Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами > keep-state \ check-state. > Посмотрите в сторону ng_netflow и pmacct. ipfw планировалось использовать без keep-state, просто для подсчета трафика. Однако ipfw не смог почему то подружиться с pf. По поводу ng_netflow и pmacct - спасибо, погуглю.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	6. "Подсчет upload трафика в squid "	+1 +/–
	Сообщение от mcshel (ok) on 07-Май-13, 19:34
	>> Лучше считать трафик сразу на порту. > Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного > фаервола используется pf, но у него на внутреннем интерфейсе уже есть > куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но > два фаервола корректно не заработали, а разбираться не было времени. >> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT. > А есть версия, которая будет логировать? Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и есть сама FreeBSD может вам MRTG попробовать?
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	7. "Подсчет upload трафика в squid "	+/–
	Сообщение от danmer (ok) on 13-Май-13, 12:14
	> Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда > юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и > есть сама FreeBSD может вам MRTG попробовать? Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap?
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	8. "Подсчет upload трафика в squid "	+/–
	Сообщение от mcshel (ok) on 13-Май-13, 12:27
	>> Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда >> юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и >> есть сама FreeBSD может вам MRTG попробовать? > Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap? https://www.opennet.ru/opennews/art.shtml?num=36083 Поддержка режима SSL-Bump Server для перехвата содержимого шифрованных HTTPS-сеансов. При поступлении первого перехватываемого HTTPS-запроса, Squid осуществляет SSL-соединение с сервером и получает его сертификат. После этого Squid использует имя хоста из реального полученного от сервера сертификата и создаёт фиктивный сертификат, при помощи которого имитирует запрошенный сервер при взаимодействии с клиентом, продолжая при этом использовать SSL-соединение, установленное с сервером. Кроме HTTPS-соединений, указанная схема может использоваться для перехвата большинства HTTP-запросов с методом CONNECT. Прошлая реализация SSL-Bump отличалась созданием на первом этапе SSL-соединения между клиентом и Squid и только затем созданием соединения с сервером, что не позволяло использовать в фиктивном сертификате детали реального сертификата, получаемого от сервера. Кроме того, новый метод позволяет работать в ситуациях, когда браузер не передаёт имя хоста при отправке запроса CONNECT; Режим имитации SSL-сертификата сервера, при котором клиенту, при генерации фиктивного сертификата, транслируются все детали из реального сертификата сервера, что позволяет клиенту более осмысленно принять решение доверять данному сертификату или нет Может я конечно ошибаюсь.
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору

10. "Подсчет upload трафика в squid "	+/–
Сообщение от Mr. Mistoffelees on 13-Май-13, 13:43
Привет, > Цифра писаться > стала, но она не походит на правду. К примеру загружаю файл > 20Мб, а у меня размер запроса - пол-килобайта. А почему вы решили, что не отвечает на правду? Что, по-вашему, должно быть? Подумайте о том, что именно squid видит как трафик - что в вашем случае является payload поверх L3. Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна HTTP GET/POST заявка. SYN и все последующие ACK в счет не входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так что не вините squid за то, что вы неверно поставили перед собой задачу. WWell,
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	11. "Подсчет upload трафика в squid "	+/–
	Сообщение от danmer (ok) on 13-Май-13, 14:22
	> А почему вы решили, что не отвечает на правду? Что, по-вашему, должно > быть? Подумайте о том, что именно squid видит как трафик - > что в вашем случае является payload поверх L3. > Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна > HTTP GET/POST заявка. SYN и все последующие ACK в счет не > входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так > что не вините squid за то, что вы неверно поставили перед > собой задачу. > WWell, Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый весьма успешно пишется в лог и подсчитывается, и если я скачаю файл в 20Мб, то он мне 20Мб в лог и запишет (плюс-минус пару процентов). При включении логирования upload, как я написал, при загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе я вижу только несколько килобайт. В этом и проблема. И уже если уже самим сквидом upload не посчитать, придется прибегать к методам подсчета трафика на порту.
	Ответить \| Правка \| ^ к родителю #10 \| Наверх \| Cообщить модератору


	12. "Подсчет upload трафика в squid "	+/–
	Сообщение от mcshel (ok) on 13-Май-13, 18:43
	>[оверквотинг удален] >> собой задачу. >> WWell, > Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый > весьма успешно пишется в лог и подсчитывается, и если я скачаю > файл в 20Мб, то он мне 20Мб в лог и запишет > (плюс-минус пару процентов). При включении логирования upload, как я написал, при > загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе > я вижу только несколько килобайт. В этом и проблема. И уже > если уже самим сквидом upload не посчитать, придется прибегать к методам > подсчета трафика на порту. Есть способы создать туннель, например используя 443 порт и метод CONNECT(не единственный способ) используя этот туннель не будут срабатывать ACL и логирование трафика так же идти не будет. Так что лучше смотреть трафик на самом порту.
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору