1.3, Аноним (-), 17:03, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +5 +/– |
Блин без вашего отобрения следующего релиза не было бы :D
А теперь по теме, кто пользовался поделитесь впечатлениями
| |
|
2.5, Nulled.cc (?), 17:19, 22/11/2016 [^] [^^] [^^^] [ответить]
| +3 +/– |
Пользовался, Rspamd фильтровал спам намного лучше чем SpamAssassin.
Но на самом деле хрен знает. Может просто не умею готовить SpamAssassin...
| |
|
|
2.9, vstakhov (ok), 18:25, 22/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
Встроен там Spamassassin, как и в большинстве других проектов типа "почта из коробки". К сожалению, у меня не хватает времени заниматься в должной мере продвижением Rspamd в данные системы. Единственной системой с Rspamd из коробки является, насколько мне известно, mailu (https://mailu.io). Но рекоммендовать ее я не могу - сам не пользовался.
| |
|
3.10, PavelR (??), 18:47, 22/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
Возможно ли с использованием Rspamd делать/сделать/реализовать логирование проходящей через фильтр почты, аналогичное amavis-у? Там в таблицы пишутся записи о каждом прошедшем письме, с сабжектами и перечнем получателей. Это можно использовать для контроля за ящиками на предмет угона аккаунта.
| |
|
4.13, vstakhov (ok), 18:54, 22/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Возможно ли с использованием Rspamd делать/сделать/реализовать логирование проходящей
> через фильтр почты, аналогичное amavis-у? Там в таблицы пишутся записи о
> каждом прошедшем письме, с сабжектами и перечнем получателей. Это можно использовать
> для контроля за ящиками на предмет угона аккаунта.
Можно. Я для этого писал плагин для Clickhouse (https://clickhouse.yandex). Но пока я этот плагин еще не включал в состав Rspamd, так как он еще не доведен до конца. Ну а написать то же самое для Redis pub/sub вообще не составляет проблем. Основной вопрос, чем вы будете эти данные анализировать.
| |
|
5.24, VitalVas (ok), 21:29, 22/11/2016 [^] [^^] [^^^] [ответить]
| +4 +/– |
>> Возможно ли с использованием Rspamd делать/сделать/реализовать логирование проходящей
>> через фильтр почты, аналогичное amavis-у? Там в таблицы пишутся записи о
>> каждом прошедшем письме, с сабжектами и перечнем получателей. Это можно использовать
>> для контроля за ящиками на предмет угона аккаунта.
> Можно. Я для этого писал плагин для Clickhouse (https://clickhouse.yandex). Но пока я
> этот плагин еще не включал в состав Rspamd, так как он
> еще не доведен до конца. Ну а написать то же самое
> для Redis pub/sub вообще не составляет проблем. Основной вопрос, чем вы
> будете эти данные анализировать.
А когда будет плагин для ClickHouse включен в основной состав, или возможно ли как-то отдельно поставить?
| |
|
6.51, vstakhov (ok), 16:26, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
>[оверквотинг удален]
>>> через фильтр почты, аналогичное amavis-у? Там в таблицы пишутся записи о
>>> каждом прошедшем письме, с сабжектами и перечнем получателей. Это можно использовать
>>> для контроля за ящиками на предмет угона аккаунта.
>> Можно. Я для этого писал плагин для Clickhouse (https://clickhouse.yandex). Но пока я
>> этот плагин еще не включал в состав Rspamd, так как он
>> еще не доведен до конца. Ну а написать то же самое
>> для Redis pub/sub вообще не составляет проблем. Основной вопрос, чем вы
>> будете эти данные анализировать.
> А когда будет плагин для ClickHouse включен в основной состав, или возможно
> ли как-то отдельно поставить?
Я его уже добавил в репозиторий. Будет в составе 1.4.1, который я планирую выпустить довольно скоро.
| |
|
7.88, vstakhov (ok), 14:32, 25/11/2016 [^] [^^] [^^^] [ответить]
| +1 +/– |
>>[оверквотинг удален]
>> А когда будет плагин для ClickHouse включен в основной состав, или возможно
>> ли как-то отдельно поставить?
> Я его уже добавил в репозиторий. Будет в составе 1.4.1, который я
> планирую выпустить довольно скоро.
https://rspamd.com/doc/modules/clickhouse.html - можно пока посмотреть, как его использовать.
| |
|
|
|
4.20, Sw00p aka Jerom (?), 19:49, 22/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
а смысл ? легче логи парсить, а вашими темпами он скоро обрастётся и перерастёт в недоделанный почтовый сервер.
| |
|
5.21, PavelR (??), 20:16, 22/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> а смысл ? легче логи парсить, а вашими темпами он скоро обрастётся
> и перерастёт в недоделанный почтовый сервер.
Парсить логи - это костыль.
Писать из приложения - решение.
Про смысл я написал.
| |
|
6.26, Sw00p aka Jerom (?), 22:37, 22/11/2016 [^] [^^] [^^^] [ответить]
| –1 +/– |
ну и как укладывается понятие трекинга почтового трафика с системой фильтрации от спама ?
может быть завтра ещё и красивые графики потребуются для всего этого ? тоже будете накручивать на rsmapd ? А это предложение (Это можно использовать для контроля за ящиками на предмет угона аккаунта.) вообще не укладывается ни в какие рамки. Вы ещё прикрутите к ситеме фильтрации спама систему анализа событий связанных с инфобезом (типа SIEM https://en.wikipedia.org/wiki/Security_information_and_event_management)
пс: если пишите изначально систему для себя и под себя - не стоит ею делиться.
| |
6.27, Sw00p aka Jerom (?), 22:39, 22/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Парсить логи - это костыль.
ага, а парсить мильтер не костыль?
> Писать из приложения - решение.
писать куда ? тока в редиску? - а ведь там выше уважаемый в мускул их хотел, и чё ему делать ? думаю догадались - легче парсить данные и делать с ними что угодно. А ваше приложение пусть лучше занимается той задачей для которой оно предназначено.
| |
6.28, Sw00p aka Jerom (?), 22:41, 22/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Про смысл я написал.
и собственно последний комент, - микроскопом гвозди тоже можно забивать (с-сохранены).
| |
|
7.37, PavelR (??), 07:22, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
Уважаемый, сходите к специалисту, пусть он вам успокоительное выпишет. Хорошо?
Предлагаю вам лично vstakhov написать про микроскоп и гвозди в ответ на комментарий #13.
| |
|
|
|
|
3.41, Николай (??), 13:07, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
Обновил вчера утром rspamd до версии 1.4 (FreeBSD). В логах Exim (4.87) стали появляться сообщения "cannot parse spamd [127.0.0.1]:11333, output: -1". Exim пропускал такие письма с неизвестным ему спам-рейтингом. К вечеру таких сообщений набралось порядка 900. Откатился на rspamd-1.3.5_1. Все пришло в норму.
| |
|
4.46, vstakhov (ok), 14:56, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Обновил вчера утром rspamd до версии 1.4 (FreeBSD). В логах Exim (4.87)
> стали появляться сообщения "cannot parse spamd [127.0.0.1]:11333, output: -1". Exim пропускал
> такие письма с неизвестным ему спам-рейтингом. К вечеру таких сообщений набралось
> порядка 900. Откатился на rspamd-1.3.5_1. Все пришло в норму.
К сожалению, exim единственный, кто использует старый протокол совместимости с SA. Все остальные давно используют HTTP/JSON. Ну и у меня нет никого, кто бы тестировал работу exim. В идеале нужно посмотреть дамп rspamd <-> exim для таких случаев и исправить проблему...
| |
|
5.49, Николай (??), 15:57, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
Тем более странно, поскольку Exim очень распространен. Придется ждать новых версий Exim'а. Спасибо за информацию!
| |
|
6.52, vstakhov (ok), 16:32, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Тем более странно, поскольку Exim очень распространен. Придется ждать новых версий Exim'а.
> Спасибо за информацию!
Я постараюсь исправить эту проблему к 1.4.1. Извиняюсь за неудобства.
| |
|
7.54, Николай (??), 17:40, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
Никаких претензий. Исключительно благодарность за труды и старания!
| |
|
|
|
|
11.70, dwolfix (ok), 09:50, 24/11/2016 [^] [^^] [^^^] [ответить] | +/– | Вновь запустил версию 1 4 0 Появились сообщения в логах Exim Выдержка из логов... большой текст свёрнут, показать | |
|
|
|
|
|
|
|
|
|
22.86, dwolfix (ok), 09:40, 25/11/2016 [^] [^^] [^^^] [ответить] | +/– | Закомментировал настройки с IP в multimap Вот что получилось 09 35 13 root 12... большой текст свёрнут, показать | |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1.8, анонимус вульгарис (?), 18:18, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]
| –1 +/– |
Тыкал палочкой rmilter — осталось впечатление любительской наколенной поделки. Кто пробовал rspamd — насколько он годится к использованию?
| |
1.11, Аноним (-), 18:48, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
здесь можно хранить всякие баесы, скоры, репутации, и прочие конфиги в мускулах/редисах, чтобы шарить между пулом релаев ?
| |
|
|
3.16, Аноним (-), 19:05, 22/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
просто для понимания: в спамасс-не и том же амависе можно ВСЕ базы баесов, репутаций, скоров, правил погрузить в мускул и кое-что в редис. в амависе можно почти весь конфиг погрузить в мускул и лдап и заставить также спамасс-н брать все из мускула. это позволяет масштабировать нагрузку особо не парясь, что перл очень медленный по сравнению с чем-то там. У вас написано, что кое-что что-то там кладем в редис, но далеко не все ?
| |
|
4.17, vstakhov (ok), 19:31, 22/11/2016 [^] [^^] [^^^] [ответить]
| +1 +/– |
> просто для понимания: в спамасс-не и том же амависе можно ВСЕ базы
> баесов, репутаций, скоров, правил погрузить в мускул и кое-что в редис.
> в амависе можно почти весь конфиг погрузить в мускул и лдап
> и заставить также спамасс-н брать все из мускула. это позволяет масштабировать
> нагрузку особо не парясь, что перл очень медленный по сравнению с
> чем-то там. У вас написано, что кое-что что-то там кладем в
> редис, но далеко не все ?
Просто для понимания: часть моих пользователей сканируют около сотни миллионов писем в сутки на кластере из десятков машин. И весь Rspamd писался ровно для таких конфигураций. Поэтому в Redis хранится ровно то, что нужно для таких конфигураций. Поэтому у этого "чего-то" есть вполне рациональное обоснование.
| |
|
5.19, vstakhov (ok), 19:46, 22/11/2016 [^] [^^] [^^^] [ответить]
| +1 +/– |
Что сейчас есть в редисе:
* Веса для символов и настройки actions
* Статистика (bayes)
* Нечеткие хеши
* Бакеты рейтлимитов
* Токены грейлистинга
* IP репутация и кеш
* Кеш "тяжелых" проверок (antivirus, mx check etc)
* Нейросети (вектора обучения и сами веса)
* Настройки пользователей (индивидуальные правила, лимиты, веса, отключенные правила итп)
* Различные списки
Что не хранится в редисе:
* Конфиги (нет смысла, т.к. есть puppet/ansible/whatever)
* Правила (небезопасно, поэтому правила могут подгружаться только из подписанных json файлов, раздаваемых по http)
* Различные редко изменяемые списки (проще раздавать по http и мониторить)
Надеюсь, я ответил на ваш вопрос.
| |
|
6.25, VitalVas (ok), 22:35, 22/11/2016 [^] [^^] [^^^] [ответить]
| +1 +/– |
> Что сейчас есть в редисе:
> * Настройки пользователей (индивидуальные правила, лимиты, веса, отключенные правила итп)
Вот с этого места немного подробней.
Как это можно конфикурить (на лету в том числе)?
Лимиты и отключения фильтров у меня сейчас хранится в sql хранилище - postgresql.
Связки с rspamd пока никакой нет.
| |
|
|
|
|
|
1.14, Moomintroll (ok), 18:59, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
Сборка с clang плагином падает:
[ 79s] /home/abuild/rpmbuild/BUILD/rspamd-1.4.0/src/libutil/addr.c:731:3: error: format query error: number of arguments for rspamd_snprintf missmatches query string 'unix:%s', expected 1 args, got 2 args
[ 79s] rspamd_snprintf (addr_str, sizeof (addr_str), "unix:%s",
| |
|
2.18, vstakhov (ok), 19:32, 22/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Сборка с clang плагином падает:
> [ 79s] /home/abuild/rpmbuild/BUILD/rspamd-1.4.0/src/libutil/addr.c:731:3: error:
> format query error: number of arguments for rspamd_snprintf missmatches query string
> 'unix:%s', expected 1 args, got 2 args
> [ 79s]
> rspamd_snprintf (addr_str, sizeof
> (addr_str), "unix:%s",
Спасибо, исправлю, - у меня опять поломался libclang в моем тестовом окружении на Suse tumbleweed.
| |
|
1.22, CHERTS (??), 20:32, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +2 +/– |
Не так давно перешел с amavisd-new + spamassasin на rspamd + rmilter.
3 сервера, >3000 почтовых ящиков, >20k писем в день, нагрузка на CPU снизилась существенно, количество спама упало процентов на 70% - я очень доволен.
Всеволоду Стахову огромное спасибо за такой продукт, я считаю, что альтернатив ему нет.
| |
|
2.30, serh (?), 22:44, 22/11/2016 [^] [^^] [^^^] [ответить]
| +1 +/– |
подскажите статистику: сколько памяти занимает база редиса.
спасибо.
| |
|
3.36, Аноним (-), 07:19, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
помойки типа mailru могут на одну машину обслуживать намного больше клиентов
| |
|
4.43, Sw00p aka Jerom (?), 13:55, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> помойки типа mailru могут на одну машину обслуживать намного больше клиентов
Ничего общего с мейл ру не имею, но банальный постфикс с довкотом на одном стандартном физ сервере куда больше клиентов обслужит.
| |
|
3.38, CHERTS (??), 08:38, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
Помимо почты, на каждом сервере еще по 100-150 сайтов клиентов крутиться. Так что вполне нормально.
| |
|
4.44, Sw00p aka Jerom (?), 13:57, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Помимо почты, на каждом сервере еще по 100-150 сайтов клиентов крутиться. Так
> что вполне нормально.
Вопрос снят, значить сэкономили )))
| |
|
|
|
1.23, Аноним (-), 21:07, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Планируется ли помимо Байесовского классификатора использовать hidden Markov model ?
Будет ли расширяться количество поддерживаемых антивирусов ?
| |
|
2.32, vstakhov (ok), 01:25, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Планируется ли помимо Байесовского классификатора использовать hidden Markov model ?
Он и так использует hidden Markov model. Вопрос неясен.
> Будет ли расширяться количество поддерживаемых антивирусов ?
Будет, если антивирусы будут предоставлять спецификации протоколов.
| |
|
|
2.39, Аноним (-), 10:43, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
only-байес vs хренов-комбайн-в-который-запихано-всё-даже-небо-даже-аллах.
| |
|
1.40, Онанимус (?), 12:01, 23/11/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Есть ли смысл использовать на одиночном, относительно мало нагруженном сервере с количеством ящиков ~100?
И каких ресурсов (по минимуму) нужно выделить в QEMU, для такого виртуального сервера (ClamAV ставить не планируется)?
| |
|
2.45, Sw00p aka Jerom (?), 13:59, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Есть ли смысл использовать на одиночном, относительно мало нагруженном сервере с количеством
> ящиков ~100?
> И каких ресурсов (по минимуму) нужно выделить в QEMU, для такого виртуального
> сервера (ClamAV ставить не планируется)?
Смысла нет, правильно настроенный постфикс срежет вам 80% спама, а клам нужен полюбэ, он щас чуток лучше стал работать в отличии от далеких 2008 годов
| |
|
3.48, CHERTS (??), 15:19, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
Правильно настроенный Postfix помимо того что срежет вам 80% спама, он еще и срежет 80% хороших писем, т.к. сервера-отправители этих писем настроены далеко не по rfc.
| |
|
4.50, анонимус вульгарис (?), 16:13, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
Если письма не соответствуют RFC, это плохие письма. Туда им и дорога. Пусть админ отправителя читает отлупы и учится настраивать сервер нормально.
| |
|
5.58, vstakhov (ok), 20:59, 23/11/2016 [^] [^^] [^^^] [ответить]
| +1 +/– |
> Если письма не соответствуют RFC, это плохие письма. Туда им и дорога.
> Пусть админ отправителя читает отлупы и учится настраивать сервер нормально.
Return-Path: <opennet@periscope.opennet.ru>
% host periscope.opennet.ru
periscope.opennet.ru has address 81.95.33.238
% host 81.95.33.238
Host 238.33.95.81.in-addr.arpa. not found: 3(NXDOMAIN)
Расскажите нам, ага.
| |
|
6.63, Sw00p aka Jerom (?), 22:04, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
И это повод для гордости? Радует еще когда говорят мол gmail принимает, а вы нет )))))
Нет соблюдения стандартам - анархия, а раз анархия - каждый волен делать все что пожелает. И не лечите никого как правильно жить.
Пс: все ясно, в продолжении дискуссии смысла нет.
| |
|
|
4.55, Sw00p aka Jerom (?), 19:28, 23/11/2016 [^] [^^] [^^^] [ответить]
| –1 +/– |
Значить таким админам нужно потакать?
А для чего стандарты придуманы (хоть и кривые) ?
Если амин не может банально прописать птр запись для айпишника, что с него взять то? я обязан разве принимать от него почту ? А если обязан то тогда речь о спаме и быть не должна. одна тока проверка птр записи режет 50% всем спам писем, и этому доказательство статистика почтового трафика.
| |
|
5.72, Moomintroll (ok), 12:30, 24/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Если амин не может банально прописать птр запись для айпишника
Как правило, реверсивными записями заведует провайдер, и далеко не у каждого провайдера адекватная служба поддержки.
| |
|
6.83, PavelR (??), 20:41, 24/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
1) сколько можно отмазываться?
2) Размещайте почту там, где служба поддержки адекватна.
Если служба поддержки не адекватна, значит они могут в любой момент вам и 25 порт подрезать. Вы этого не боитесь?
| |
|
|
4.56, Sw00p aka Jerom (?), 19:40, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Правильно настроенный Postfix помимо того что срежет вам 80% спама, он еще
> и срежет 80% хороших писем, т.к. сервера-отправители этих писем настроены далеко
> не по rfc.
а в случае "качественного спама" - достаточно заблокировать айпи смтп сервера и добавить в блеклист домен отправителя и всё (пусть потом спамер меняет айпи и свой домен, мой почтовый сервер от него больше не получит писем), и всякие спам фильтры по анализу письма идут лесом потому, что они бесполезны. связка SPF+DKIM+DMARC уже режет 90% писем, плюс ещё от спуфинга защищает, а спамассассин со своим байесом не нужен - лишнее звено. У клама одна тока проверка ссылок по гугл сейф броузингу уже отрежет 50% писем, потому что за вас уже ведёт список чёрных ссылок которые встречаются в спам письмах.
Уберите из того же rsmapd модули SPF,DKIM,DMARC,Greylisting,рейтлимитов,IP репутация (DNSBL), MX проверка (которая в постфиксе из покон веков есть) что останется в итоге ? Нечеткие хеши, bayes, нейронные сети какието и всё ? И скока процентов спама такой фильтр будет резать ? Да не сколько, ибо всё упрётся в теорию нейронных сетей которые не идеальны и не практичны (если нужно хранить килограмовую базу).
| |
|
3.62, Lazy (?), 21:36, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> клам нужен полюбэ, он щас чуток лучше стал работать в отличии от далеких 2008 годов
Ничего он практически не ловит. Я не видел, чтоб он в последнее время хоть одного червяка (которые маскируются под письма от сканнера) поймал.
| |
|
4.64, Sw00p aka Jerom (?), 22:07, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
>> клам нужен полюбэ, он щас чуток лучше стал работать в отличии от далеких 2008 годов
> Ничего он практически не ловит. Я не видел, чтоб он в последнее
> время хоть одного червяка (которые маскируются под письма от сканнера) поймал
Какого червяка? У меня он червяка и пдф и в ворде ловит
| |
4.76, Аноним (-), 13:10, 24/11/2016 [^] [^^] [^^^] [ответить]
| +1 +/– |
Подключи базы от sanesecurity и удивись. С дефолтными - да, будет редко и печально.
| |
|
|
2.60, Lazy (?), 21:21, 23/11/2016 [^] [^^] [^^^] [ответить]
| +/– |
> Есть ли смысл использовать на одиночном, относительно мало нагруженном сервере с количеством
> ящиков ~100?
> И каких ресурсов (по минимуму) нужно выделить в QEMU, для такого виртуального
> сервера (ClamAV ставить не планируется)?
Я себе поставил примерно для такой почтовки, мне удобно. Ставил не на виртуалку, просто на один из серверов. Жужжит, основным делам не мешает.
| |
|
1.68, test1 (ok), 23:17, 23/11/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Увидел скрипт для CommuniGate на github. Буду тестировать. Какие то подводные камни есть? Видел, что народ вроде интересуется связкой с CGP, но не могу найти отзывов толком о работе.
| |
|
|
|
4.94, vstakhov (ok), 20:04, 09/01/2017 [^] [^^] [^^^] [ответить]
| +/– |
> Можете добавить поддержку антивируса DrWeb?
Мне нужно описание протокола общения с демоном. А там можно подумать.
| |
|
|
|
1.95, Аноним (95), 11:48, 24/01/2017 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Система ахтунг! Больше режет валидной почты, чем спама. Одно и тоже письмо одному режет, другому пропускает. Зачем-то повторяется функционал и в rspam и в rmilter, с документацией совсем плохо. Ненужные проверки не отключаются!
| |
|