forum.opennet.ru - "Шейпер создаёт много правил в iptables как это сократить?" (12)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Шейпер создаёт много правил в iptables как это сократить?"

Форум Открытые системы на сервере (Квоты, ограничения, QoS / Linux)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Шейпер создаёт много правил в iptables как это сократить?"	+/–
Сообщение от THEDECAL (ok) on 23-Окт-12, 11:35
У меня такая проблема, есть скрипт шейпера который граничил 300чел. теперь людей стало около 1000 и скрипт засыпает iptables правилами (около 1500!) с которыми он не справляется, а по вечерам загружает процессор на 100%... Помогите как можно сократить правила или оптимизировать? Сервер: Проц. - Xeon 1220, ОЗУ - 8гб Скрипт: #!/bin/bash USER_IFACE='eth1.2 eth1.4 eth1.5 eth1.6 eth1.7 eth1.8 eth1.9' EXT_IFACE='eth0' CONF="/usr/conf" DATA='/usr/conf/unlimit.dat' UFLAG='/usr/conf/unlimit.flg' TCBIN='/sbin/tc' IPT='/usr/local/sbin/iptables' # stopp () { $IPT -t mangle -F for i in $USER_IFACE $EXT_IFACE; do ${TCBIN} qdisc del dev $i root >/dev/null 2>&1 done } init () { stopp for i in $USER_IFACE $EXT_IFACE; do ${TCBIN} qdisc add dev $i root handle 1: htb done } startt () { init n=3 cat $DATA \| while read ip rate;do USER_IFACE=`/sbin/ip -o route get $ip \| sed 's/.dev $\S$./\1/'` ${TCBIN} class add dev $EXT_IFACE parent 1: classid 1:$n htb rate $rate ceil $rate ${TCBIN} filter add dev $EXT_IFACE protocol ip parent 1: prio 0 handle $n fw classid 1:$n ${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10 #$IPT -t mangle -A FORWARD -m set --match-set src_shaper src -s $ip/32 -j MARK --set-mark $n $IPT -t mangle -A FORWARD -s $ip/32 -j MARK --set-mark $n let n++ ${TCBIN} class add dev $USER_IFACE parent 1: classid 1:$n htb rate $rate ceil $rate ${TCBIN} filter add dev $USER_IFACE protocol ip parent 1: prio 0 handle $n fw classid 1:$n ${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10 #$IPT -t mangle -A FORWARD -m set --match-set dst_shaper dst -d $ip/32 -j MARK --set-mark $n $IPT -t mangle -A FORWARD -d $ip/32 -j MARK --set-mark $n let n++ done if [ -f ${UFLAG} ]; then /bin/rm ${UFLAG} fi } checkk () { /usr/bin/md5sum -c $CONF/unlimit.dat.md5 > /dev/null 2>&1 if [ $? = 0 ] then echo `date`\ Список\ не\ изменился\ шейпер\ не\ запускаеться... >> /var/log/messages else echo `date`\ Список\ изменился\ шейпер\ запускаеться... >> /var/log/messages /usr/bin/md5sum /usr/local/accnt/conf/unlimit.dat > /usr/local/accnt/conf/unlimit.dat.md5 startt fi } showw () { for i in $USER_IFACE $EXT_IFACE; do echo --== $i ==-- --== $i ==-- --== $i ==-- --== $i ==-- ${TCBIN} qdisc show dev $i echo =Classes= =Classes= =Classes= =Classes= ${TCBIN} class show dev $i echo =Filters= =Filters= =Filters= =Filters= ${TCBIN} filter show dev $i done } case $1 in start) startt ;; check) checkk ;; stop) stopp ;; show) showw ;; ) echo "Usage: {start\|stop\|show\|check}" exit 1 esac
Ответить \| Правка \| Cообщить модератору

Оглавление

Шейпер создаёт много правил в iptables как это сократить?, PavelR, 11:48 , 23-Окт-12, (1) +1

Шейпер создаёт много правил в iptables как это сократить?, THEDECAL, 11:50 , 23-Окт-12, (2)

Шейпер создаёт много правил в iptables как это сократить?, PavelR, 11:56 , 23-Окт-12, (3)

Шейпер создаёт много правил в iptables как это сократить?, THEDECAL, 13:22 , 23-Окт-12, (4)

Шейпер создаёт много правил в iptables как это сократить?, PavelR, 15:25 , 23-Окт-12, (5)

Шейпер создаёт много правил в iptables как это сократить?, THEDECAL, 16:23 , 23-Окт-12, (6)

Шейпер создаёт много правил в iptables как это сократить?, PavelR, 17:47 , 23-Окт-12, (7)

Шейпер создаёт много правил в iptables как это сократить?, THEDECAL, 18:05 , 23-Окт-12, (8)

Шейпер создаёт много правил в iptables как это сократить?, reader, 21:07 , 23-Окт-12, (9) +1

Шейпер создаёт много правил в iptables как это сократить?, PavelR, 22:59 , 23-Окт-12, (10)

Шейпер создаёт много правил в iptables как это сократить?, THEDECAL, 10:18 , 24-Окт-12, (11)

Шейпер создаёт много правил в iptables как это сократить?, PavelR, 11:03 , 24-Окт-12, (12)

Сообщения по теме [Сортировка по времени | RSS]

1. "Шейпер создаёт много правил в iptables как это сократить?" +1 +/–

Сообщение от PavelR (ok) on 23-Окт-12, 11:48

Самое простое:
фильтр по маркеру
>     ${TCBIN} filter add dev $EXT_IFACE protocol ip parent  1: prio 0 handle $n fw classid 1:$n
заменить напрямую на фильтр по IP:

${TCBIN} filter add dev $EXT_IFACE protocol ip parent 1: prio 0 u32 match ip src $ip/32 classid 10:$n
ну и для внутреннего интерфейса аналогично.
Тогда в IPtables стопицот правил будет не нужно.
См http://www.lartc.org/howto/lartc.qdisc.filters.html#AEN1099
Хотя, если у вас шейпер еще и натит, этот вариант не подойдет, т.к. на внешнем интерфейсе будут уже отначеные пакеты. В случае совмещения шейпера и транслятора, помоему помочь нечем, кроме как самописным модулем iptables который будет выставлять маркер из последних байтов IP-адреса.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от THEDECAL (ok) on 23-Окт-12, 11:50

> Хотя, если у вас шейпер еще и натит, этот вариант не подойдет,
Нет, NAT на другой машине...

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от PavelR (ok) on 23-Окт-12, 11:56

>> Хотя, если у вас шейпер еще и натит, этот вариант не подойдет,
> Нет, NAT на другой машине...
Ну тогда всё хорошо.
Кроме того, ознакомьтесь с http://www.lartc.org/howto/lartc.adv-filter.hashing.html

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от THEDECAL (ok) on 23-Окт-12, 13:22

> заменить напрямую на фильтр по IP:
Помогло, но теперь скорость режит не ровно... Если резало 10мбит как 1.12мбайт.. То теперь 10мбит как ~9.00 ~10.00 до 1.1 и не доходит... В чем же может быть дело?

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

5. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от PavelR (ok) on 23-Окт-12, 15:25

> В чем же может быть дело?
Графики нагрузки на внешних интерфейсах ведете? Какие изменения видите на графике?
Графиков нет - ССЗБ.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от THEDECAL (ok) on 23-Окт-12, 16:23

>> В чем же может быть дело?
> Графики нагрузки на внешних интерфейсах ведете? Какие изменения видите на графике?
> Графиков нет - ССЗБ.
Веду... Сократился почти в половину...

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от PavelR (ok) on 23-Окт-12, 17:47

>>> В чем же может быть дело?
>> Графики нагрузки на внешних интерфейсах ведете? Какие изменения видите на графике?
>> Графиков нет - ССЗБ.
> Сократился почти в половину...
Плохо.
Как видоизменился скрипт?

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от THEDECAL (ok) on 23-Окт-12, 18:05

> Как видоизменился скрипт?
Ни чего особенного, попробовал первый предложенный тобой способ...
Скрипт:
#!/bin/bash
USER_IFACE='eth1.2 eth1.4 eth1.5 eth1.6 eth1.7 eth1.8 eth1.9 eth1.14 eth1.16 eth1.19'
EXT_IFACE='eth0'
CONF="/usr/local/accnt/conf"
DATA='/usr/local/accnt/conf/unlimit.dat'
UFLAG='/usr/local/accnt/conf/unlimit.flg'
TCBIN='/sbin/tc'
IPT='/usr/local/sbin/iptables'
#
stopp () {
    $IPT -t mangle -F
    for i in $USER_IFACE $EXT_IFACE; do
        ${TCBIN} qdisc del dev $i root >/dev/null 2>&1
    done
}
init () {
    stopp
    for i in $USER_IFACE $EXT_IFACE; do
        ${TCBIN} qdisc add dev $i root handle 1: htb
    done
}
startt () {
    init
    n=3
    cat $DATA | while read ip rate;do
    USER_IFACE=`/sbin/ip -o route get $ip | sed 's/.*dev $\S*$.*/\1/'`
    ${TCBIN} class add dev $EXT_IFACE parent 1:0 classid 1:$n htb rate $rate ceil $rate
    ${TCBIN} filter add dev $EXT_IFACE protocol ip parent 1:0 prio 10 u32 match ip src $ip/32 flowid 1:$n
    let n++
    ${TCBIN} class add dev $USER_IFACE parent 1:0 classid 1:$n htb rate $rate ceil $rate
    ${TCBIN} filter add dev $USER_IFACE protocol ip parent 1:0 prio 10 u32 match ip dst $ip/32 flowid 1:$n
    let n++
    done
    if [ -f ${UFLAG} ]; then
         /bin/rm ${UFLAG}
    fi
}
checkk () {
    /usr/bin/md5sum -c $CONF/unlimit.dat.md5 > /dev/null 2>&1
    if [ $? = 0 ]
    then
    echo `date`\ Список\ не\ изменился\ шейпер\ не\ запускаеться... >> /var/log/messages
    else
    echo `date`\ Список\ изменился\ шейпер\ запускаеться... >> /var/log/messages
    /usr/bin/md5sum /usr/local/accnt/conf/unlimit.dat > /usr/local/accnt/conf/unlimit.dat.md5
    startt
    fi
}
showw () {
    for i in $USER_IFACE $EXT_IFACE; do
        echo --== $i ==-- --== $i ==-- --== $i ==-- --== $i ==--
        ${TCBIN} qdisc show dev $i
        echo =Classes= =Classes= =Classes= =Classes=
        ${TCBIN} class show dev $i
        echo =Filters= =Filters= =Filters= =Filters=
        ${TCBIN} filter show dev $i
    done
}
case $1 in
        start)
                startt
        ;;
        check)
                checkk
        ;;
        stop)
                stopp
        ;;
        show)
                showw
        ;;
        *)
          echo "Usage: {start|stop|show|check}"
          exit 1
esac

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Шейпер создаёт много правил в iptables как это сократить?" +1 +/–

Сообщение от reader (ok) on 23-Окт-12, 21:07

а если вернуть
${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10
${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от PavelR (ok) on 23-Окт-12, 22:59

> а если вернуть
> ${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10
> ${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10
да-да, и я не говорил это убирать...

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от THEDECAL (ok) on 24-Окт-12, 10:18

>> а если вернуть
>> ${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10
>> ${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10
> да-да, и я не говорил это убирать...
Я со своими экспериментами запутался... Да я добавил эти строчки теперь всё ок! Большое спасибо всем!

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Шейпер создаёт много правил в iptables как это сократить?" +/–

Сообщение от PavelR (ok) on 24-Окт-12, 11:03

> Я со своими экспериментами запутался... Да я добавил эти строчки теперь всё
> ок! Большое спасибо всем!
>>>Кроме того, ознакомьтесь с http://www.lartc.org/howto/lartc.adv-filter.hashing.html
?

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Шейпер создаёт много правил в iptables как это сократить?"	+1 +/–
Сообщение от PavelR (ok) on 23-Окт-12, 11:48
Самое простое: фильтр по маркеру > ${TCBIN} filter add dev $EXT_IFACE protocol ip parent 1: prio 0 handle $n fw classid 1:$n заменить напрямую на фильтр по IP: ${TCBIN} filter add dev $EXT_IFACE protocol ip parent 1: prio 0 u32 match ip src $ip/32 classid 10:$n ну и для внутреннего интерфейса аналогично. Тогда в IPtables стопицот правил будет не нужно. См http://www.lartc.org/howto/lartc.qdisc.filters.html#AEN1099 Хотя, если у вас шейпер еще и натит, этот вариант не подойдет, т.к. на внешнем интерфейсе будут уже отначеные пакеты. В случае совмещения шейпера и транслятора, помоему помочь нечем, кроме как самописным модулем iptables который будет выставлять маркер из последних байтов IP-адреса.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от THEDECAL (ok) on 23-Окт-12, 11:50
	> Хотя, если у вас шейпер еще и натит, этот вариант не подойдет, Нет, NAT на другой машине...
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	3. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от PavelR (ok) on 23-Окт-12, 11:56
	>> Хотя, если у вас шейпер еще и натит, этот вариант не подойдет, > Нет, NAT на другой машине... Ну тогда всё хорошо. Кроме того, ознакомьтесь с http://www.lartc.org/howto/lartc.adv-filter.hashing.html
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	4. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от THEDECAL (ok) on 23-Окт-12, 13:22
	> заменить напрямую на фильтр по IP: Помогло, но теперь скорость режит не ровно... Если резало 10мбит как 1.12мбайт.. То теперь 10мбит как ~9.00 ~10.00 до 1.1 и не доходит... В чем же может быть дело?
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	5. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от PavelR (ok) on 23-Окт-12, 15:25
	> В чем же может быть дело? Графики нагрузки на внешних интерфейсах ведете? Какие изменения видите на графике? Графиков нет - ССЗБ.
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	6. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от THEDECAL (ok) on 23-Окт-12, 16:23
	>> В чем же может быть дело? > Графики нагрузки на внешних интерфейсах ведете? Какие изменения видите на графике? > Графиков нет - ССЗБ. Веду... Сократился почти в половину...
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	7. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от PavelR (ok) on 23-Окт-12, 17:47
	>>> В чем же может быть дело? >> Графики нагрузки на внешних интерфейсах ведете? Какие изменения видите на графике? >> Графиков нет - ССЗБ. > Сократился почти в половину... Плохо. Как видоизменился скрипт?
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	8. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от THEDECAL (ok) on 23-Окт-12, 18:05
	> Как видоизменился скрипт? Ни чего особенного, попробовал первый предложенный тобой способ... Скрипт: #!/bin/bash USER_IFACE='eth1.2 eth1.4 eth1.5 eth1.6 eth1.7 eth1.8 eth1.9 eth1.14 eth1.16 eth1.19' EXT_IFACE='eth0' CONF="/usr/local/accnt/conf" DATA='/usr/local/accnt/conf/unlimit.dat' UFLAG='/usr/local/accnt/conf/unlimit.flg' TCBIN='/sbin/tc' IPT='/usr/local/sbin/iptables' # stopp () { $IPT -t mangle -F for i in $USER_IFACE $EXT_IFACE; do ${TCBIN} qdisc del dev $i root >/dev/null 2>&1 done } init () { stopp for i in $USER_IFACE $EXT_IFACE; do ${TCBIN} qdisc add dev $i root handle 1: htb done } startt () { init n=3 cat $DATA \| while read ip rate;do USER_IFACE=`/sbin/ip -o route get $ip \| sed 's/.dev \(\S\)./\1/'` ${TCBIN} class add dev $EXT_IFACE parent 1:0 classid 1:$n htb rate $rate ceil $rate ${TCBIN} filter add dev $EXT_IFACE protocol ip parent 1:0 prio 10 u32 match ip src $ip/32 flowid 1:$n let n++ ${TCBIN} class add dev $USER_IFACE parent 1:0 classid 1:$n htb rate $rate ceil $rate ${TCBIN} filter add dev $USER_IFACE protocol ip parent 1:0 prio 10 u32 match ip dst $ip/32 flowid 1:$n let n++ done if [ -f ${UFLAG} ]; then /bin/rm ${UFLAG} fi } checkk () { /usr/bin/md5sum -c $CONF/unlimit.dat.md5 > /dev/null 2>&1 if [ $? = 0 ] then echo `date`\ Список\ не\ изменился\ шейпер\ не\ запускаеться... >> /var/log/messages else echo `date`\ Список\ изменился\ шейпер\ запускаеться... >> /var/log/messages /usr/bin/md5sum /usr/local/accnt/conf/unlimit.dat > /usr/local/accnt/conf/unlimit.dat.md5 startt fi } showw () { for i in $USER_IFACE $EXT_IFACE; do echo --== $i ==-- --== $i ==-- --== $i ==-- --== $i ==-- ${TCBIN} qdisc show dev $i echo =Classes= =Classes= =Classes= =Classes= ${TCBIN} class show dev $i echo =Filters= =Filters= =Filters= =Filters= ${TCBIN} filter show dev $i done } case $1 in start) startt ;; check) checkk ;; stop) stopp ;; show) showw ;; ) echo "Usage: {start\|stop\|show\|check}" exit 1 esac
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	9. "Шейпер создаёт много правил в iptables как это сократить?"	+1 +/–
	Сообщение от reader (ok) on 23-Окт-12, 21:07
	а если вернуть ${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10 ${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10
	Ответить \| Правка \| ^ к родителю #8 \| Наверх \| Cообщить модератору


	10. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от PavelR (ok) on 23-Окт-12, 22:59
	> а если вернуть > ${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10 > ${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10 да-да, и я не говорил это убирать...
	Ответить \| Правка \| ^ к родителю #9 \| Наверх \| Cообщить модератору


	11. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от THEDECAL (ok) on 24-Окт-12, 10:18
	>> а если вернуть >> ${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10 >> ${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10 > да-да, и я не говорил это убирать... Я со своими экспериментами запутался... Да я добавил эти строчки теперь всё ок! Большое спасибо всем!
	Ответить \| Правка \| ^ к родителю #10 \| Наверх \| Cообщить модератору


	12. "Шейпер создаёт много правил в iptables как это сократить?"	+/–
	Сообщение от PavelR (ok) on 24-Окт-12, 11:03
	> Я со своими экспериментами запутался... Да я добавил эти строчки теперь всё > ок! Большое спасибо всем! >>>Кроме того, ознакомьтесь с http://www.lartc.org/howto/lartc.adv-filter.hashing.html ?
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору