Модуль ost был написан для использования в iptables правилах результатов пассивного определения 
типа операционной системы, из которой был отправлен TCP SYN пакет.

Загружаем исходные тексты модуля со страницы
http://www.ioremap.net/archive/osf/ или ставим из patch-o-matic:

В Makefile через переменную IPTABLES указываем путь к заголовочным файлам
iptables (xtables.h и /lib/iptables или /lib/xtables в Debian).

Собираем модуль xt_osf.ko: 
   make 

Собираем библиотеку libipt_osf.so, после чего копируем ее в /lib/iptables или /lib64/iptables:
   make lib

Собираем утилиты  для загрузки сигнатур ОС и ведения лога (load, osfd, ucon_osf):
   make bin

Загружаем список сигнатур:
   wget http://www.openbsd.org/cgi-bin/cvsweb/src/etc/pf.os

Загружаем модуль ядра:
   insmod ./xt_osf.ko

Загружаем сигнатуры:
   ./load ./pf.os /proc/sys/net/ipv4/osf

Пример правила для занесения всех пересылок с участием Linux лог:
   iptables -I INPUT -j ACCEPT -p tcp -m osf --genre Linux --log 0 --ttl 2

Для блокирования внешних пакетов от Windows машин:
   iptables -j DROP -i INPUT -p tcp -m osg --genre Windows --ttl 2

При отправке с Windows в логе появится:
   ipt_osf: Windows [2000:SP3:Windows XP Pro SP1, 2000 SP3]: 11.22.33.55:4024 -> 11.22.33.44:139

Опции:
--log - если в качестве аргумента передан 0, то помещать в лог все совпадения и
неизвестные срабатывания,
если 1, помещать только первое совпадение, 2 - только совпадения;

--ttl - если 0, проверять только для пакетов внутри локальной сети, 1 - для
внешней сети, 2 - не учитывать TTL.