The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск системы фильтрации спама Rspamd 1.4

22.11.2016 14:58

После четырёх месяцев разработки доступны новые релизы Rspamd 1.4 и Rmilter 1.10, в которых появилась поддержка пулов соединений с Redis, добавлены новые модули, улучшена поддержка нейронных сетей, применён алгоритм сжатия zstd для протокола и реализованы многие другие важные усовершенствования.

Rspamd - это система фильтрации спама для электронной почты, написанная на языках C и Lua в качестве более быстрой замены SpamAssassin, ориентированная на применение в крупных почтовых кластерах. Rspamd поддерживает практически все возможности, реализованные в SpamAssassin, и имеет ряд особенностей, позволяющих фильтровать почту в среднем в 10 раз быстрее, чем SpamAssassin, а также обеспечивать лучшее качество фильтрации. Правила для выявления признаков спама отличаются гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.

Основные новшества:

  • Пул соединений с Redis. Rspamd теперь может подключаться к Redis, используя пул постоянных соединений. Эта функция не требует каких-либо специальных настроек и позволяет повторное использование существующих соединений, улучшающих профиль нагрузки для Redis.
  • Новый плагин классификации с использованием нейросетей. Добавлен плагин для использования и обучения нейросетей, сохраняющий данные в Redis. Данный плагин позволяет кластеризовать результаты фильтров для более точной оценки потока писем. Использование Redis позволило распределять обучение и данные нейросетей по всему кластеру сканеров Rspamd.
  • Улучшение байесовского статистического классификатора. Rspamd теперь использует больше метаданных для оценки вероятности спама. С результами тестирования производительности классификатора Rspamd в сравнении с другими спам-фильтрами можно познакомиться в данной статье.
  • Новый плагин проверки сообщений антивирусами. Rspamd теперь умеет проверять сообщения на наличие вирусов с помощью сторонних антивирусов. Этот модуль предоставляет ряд функций:
    • Работа с различными типами антивирусных систем: ClamAV, Sophos и F-Prot
    • Поддержка пользовательских шаблонов (например, экспериментальные базы данных для ClamAV)
    • Поддержка кэширования результатов
    • Проверка только писем с вложениями, чтобы сохранить ресурсы антивируса
    • Белые списки, ограничения на размер и пользовательские скрипты оценки результатов
  • Плагин проверки MX записей. Rspamd теперь может проверить работоспособность MX отправителя для сканированных сообщений с помощью нового плагина проверки MX. Этот плагин полезен для защиты от сообщений с некорректными обратными путями (например, когда спам рассылается с ботнета, который не в состоянии принять ответ на письмо).
  • Поддержка компрессии в протоколе. Rmilter и Rspamd теперь поддерживают сжатие передаваемых данных алгоритмом zstd. Этот алгоритм является быстрым и эффективным для уменьшения загрузки процессора и сети при передаче данных. Zstd также используется для хранения больших объемов данных в Redis (например, нейронных сетей).
  • Переработана система обработки ошибок DNS в SPF, DKIM и DMARC. Rspamd теперь умеет работать с временными ошибками при выполнении связанных с DNS проверками, например, DKIM, DMARC или SPF. Существуют специальные символы для представления как временных, так и постоянных ошибок для этих плагинов.
  • Адаптивные и пользовательские лимиты. Модуль ratelimit теперь поддерживает адаптивные лимиты, то есть, ограничения могут быть ужесточены для неизвестных или "плохих" отправителей, а для известных отправителей с хорошей репутацией - наоборот, расширены. Кроме этого, данный модуль поддерживает с новой версии пользовательские скрипты для создания собственных лимитов.
  • Мониторинг ресурсов. В новой версии Rspamd получил поддержку проверки состояния внешних сервисов, например, DNS листов. В этом режиме Rspamd проверяет, что DNSBL доступен и что он не заблокировал все адреса (что иногда приводит к курьезным ситуациям). Если эти проверки не проходят, то такой ресурс на время игнорируется (до следующей проверки).
  • Redis-бэкенд для fuzzy хешей. Начиная с Rspamd 1.4, можно хранить нечеткие хэши в Redis. Это хранилище является более быстрым и масштабируемым, чем SQLite. Утилита "rspamadm" теперь умеет конвертировать хеши из хранилища SQLite в Redis.
  • Экспорт данных в graphite. В новой версии Rspamd умеет сохранять статистику, передавая данные внешней системе мониторинга (пока поддерживается только graphite). Также возможен экспорт данных в Redis pub/sub и Yandex Clickhouse (экспериментальный плагин).
  • Динамическая конфигурация в Redis. Эта функция полезна, когда вам нужно управлять несколькими экземплярами Rspamd централизованно. Пока что динамическая конфигурация ограничивается настройкой весов символов, действий и отключения определенных проверок. В будущем эти функции планируется расширить.
  • Настройки пользователей в Redis. Настройки пользователя теперь можно загружать из Redis. Это полезно, когда пользователей много и они часто обновляются. В таком случае нет необходимости каждый раз загружать настройки для всех пользователей.
  • Кольцевой буфер ошибок. Rspamd теперь умеет сохранять ошибки работы в кольцевой буфер. Этот буфер отображается в web интерфейсе и позволяет быстро определить, если в работе Rspamd возникает какая-то проблема.
  • Сообщения для MTA. Rspamd теперь умеет передавать сообщение, которое MTA должно показать клиенту, например, при грейлистинге:
    
       { "messages": { "smtp_message": "Try again later"}}
    
    Эта функция также поддерживается Rmilter 1.10.
  • Обновления Rspamd Lua API. В новой версии добавлен ряд новых возможностей в Lua API:
    • Периодические события:
      
      
         rspamd_config:add_periodic(ev_base, 1.0, function(cfg, ev_base)
           local logger = require "rspamd_logger"
           i = i + 1
           logger.infox(cfg, "periodic function, %s", i)
           return false -- if return false, then the periodic event is    removed
         end, true)
      
    • Скрипты, выполняемые при старте или завершении процессов:
      
         rspamd_config:add_on_load(function(cfg, ev_base, worker)
           if worker:get_name() == 'normal' then
             -- Do something
           end
         end)
      
    • Поддержка новых хеш-функций (MD5, SHA1, SHA256, SHA512):
      
         local hash = require "rspamd_cryptobox_hash"
         hash.create_specific('md5', 'string'):hex()
         -- b45cffe084dd3d20d928bee85e7b0f21
      
    • Поддержка https в lua_http
    • Пакетное обучение нейросетей (в отдельном треде)
    • Zstd-компрессия
  • Улучшения веб-интерфейса. Новая версия Rspamd включает в себя ряд изменений в веб-интерфейсе:
    • Новая закладка настройки символов
    • Таблица последних ошибок сканера
    • Улучшена загрузка вкладок
    • Пароли по умолчанию теперь нельзя применять для доступа к web-интерфейсу


  1. Главная ссылка к новости (https://rspamd.com/announce/20...)
  2. OpenNews: Релиз системы фильтрации спама Rspamd 1.3
  3. OpenNews: Увидел свет Apache SpamAssassin 3.4.1
  4. OpenNews: Выпущена версия 1.0 системы фильтрации спама rspamd
  5. OpenNews: Увидел свет Apache SpamAssassin 3.4.0
Автор новости: vstakhov
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/45539-rspamd
Ключевые слова: rspamd, spam, mail
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (96) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 16:45, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    годнота
     
  • 1.2, Nulled.cc (?), 16:45, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Годно, нужно, одобряем-с.
     
  • 1.3, Аноним (-), 17:03, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Блин без вашего отобрения следующего релиза не было бы :D
    А теперь по теме, кто пользовался поделитесь впечатлениями
     
     
  • 2.5, Nulled.cc (?), 17:19, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Пользовался, Rspamd фильтровал спам намного лучше чем SpamAssassin.
    Но на самом деле хрен знает. Может просто не умею готовить SpamAssassin...
     

  • 1.4, Аноним (-), 17:05, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    https://rspamd.com/modules/mx_check.html - error 404
     
  • 1.6, jtad (?), 17:36, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    кто положил сервера, признавайтесь
     
  • 1.7, dkg (?), 17:55, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Рекомендую Iredmail. Там уже встроено.
     
     
  • 2.9, vstakhov (ok), 18:25, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Встроен там Spamassassin, как и в большинстве других проектов типа "почта из коробки". К сожалению, у меня не хватает времени заниматься в должной мере продвижением Rspamd в данные системы. Единственной системой с Rspamd из коробки является, насколько мне известно, mailu (https://mailu.io). Но рекоммендовать ее я не могу - сам не пользовался.
     
     
  • 3.10, PavelR (??), 18:47, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Возможно ли с использованием Rspamd делать/сделать/реализовать логирование проходящей через фильтр почты, аналогичное amavis-у? Там в таблицы пишутся записи о каждом прошедшем письме, с сабжектами и перечнем получателей. Это можно использовать для контроля за ящиками на предмет угона аккаунта.
     
     
  • 4.13, vstakhov (ok), 18:54, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Возможно ли с использованием Rspamd делать/сделать/реализовать логирование проходящей
    > через фильтр почты, аналогичное amavis-у? Там в таблицы пишутся записи о
    > каждом прошедшем письме, с сабжектами и перечнем получателей. Это можно использовать
    > для контроля за ящиками на предмет угона аккаунта.

    Можно. Я для этого писал плагин для Clickhouse (https://clickhouse.yandex). Но пока я этот плагин еще не включал в состав Rspamd, так как он еще не доведен до конца. Ну а написать то же самое для Redis pub/sub вообще не составляет проблем. Основной вопрос, чем вы будете эти данные анализировать.

     
     
  • 5.24, VitalVas (ok), 21:29, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +4 +/
    >> Возможно ли с использованием Rspamd делать/сделать/реализовать логирование проходящей
    >> через фильтр почты, аналогичное amavis-у? Там в таблицы пишутся записи о
    >> каждом прошедшем письме, с сабжектами и перечнем получателей. Это можно использовать
    >> для контроля за ящиками на предмет угона аккаунта.
    > Можно. Я для этого писал плагин для Clickhouse (https://clickhouse.yandex). Но пока я
    > этот плагин еще не включал в состав Rspamd, так как он
    > еще не доведен до конца. Ну а написать то же самое
    > для Redis pub/sub вообще не составляет проблем. Основной вопрос, чем вы
    > будете эти данные анализировать.

    А когда будет плагин для ClickHouse включен в основной состав, или возможно ли как-то отдельно поставить?

     
     
  • 6.51, vstakhov (ok), 16:26, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    >>> через фильтр почты, аналогичное amavis-у? Там в таблицы пишутся записи о
    >>> каждом прошедшем письме, с сабжектами и перечнем получателей. Это можно использовать
    >>> для контроля за ящиками на предмет угона аккаунта.
    >> Можно. Я для этого писал плагин для Clickhouse (https://clickhouse.yandex). Но пока я
    >> этот плагин еще не включал в состав Rspamd, так как он
    >> еще не доведен до конца. Ну а написать то же самое
    >> для Redis pub/sub вообще не составляет проблем. Основной вопрос, чем вы
    >> будете эти данные анализировать.
    > А когда будет плагин для ClickHouse включен в основной состав, или возможно
    > ли как-то отдельно поставить?

    Я его уже добавил в репозиторий. Будет в составе 1.4.1, который я планирую выпустить довольно скоро.

     
     
  • 7.88, vstakhov (ok), 14:32, 25/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>[оверквотинг удален]
    >> А когда будет плагин для ClickHouse включен в основной состав, или возможно
    >> ли как-то отдельно поставить?
    > Я его уже добавил в репозиторий. Будет в составе 1.4.1, который я
    > планирую выпустить довольно скоро.

    https://rspamd.com/doc/modules/clickhouse.html - можно пока посмотреть, как его использовать.

     
     
  • 8.90, VitalVas (ok), 20:43, 26/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо Ждем обновлений ... текст свёрнут, показать
     
  • 4.20, Sw00p aka Jerom (?), 19:49, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    а смысл ? легче логи парсить, а вашими темпами он скоро обрастётся и перерастёт в недоделанный почтовый сервер.
     
     
  • 5.21, PavelR (??), 20:16, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > а смысл ? легче логи парсить, а вашими темпами он скоро обрастётся
    > и перерастёт в недоделанный почтовый сервер.

    Парсить логи - это костыль.
    Писать из приложения - решение.

    Про смысл я написал.

     
     
  • 6.26, Sw00p aka Jerom (?), 22:37, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ну и как укладывается понятие трекинга почтового трафика с системой фильтрации от спама ?
    может быть завтра ещё и красивые графики потребуются для всего этого ? тоже будете накручивать на rsmapd ? А это предложение (Это можно использовать для контроля за ящиками на предмет угона аккаунта.) вообще не укладывается ни в какие рамки. Вы ещё прикрутите к ситеме фильтрации спама систему анализа событий связанных с инфобезом (типа SIEM https://en.wikipedia.org/wiki/Security_information_and_event_management)

    пс: если пишите изначально систему для себя и под себя - не стоит ею делиться.

     
  • 6.27, Sw00p aka Jerom (?), 22:39, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Парсить логи - это костыль.

    ага, а парсить мильтер не костыль?

    > Писать из приложения - решение.

    писать куда ? тока в редиску? - а ведь там выше уважаемый в мускул их хотел, и чё ему делать ? думаю догадались - легче парсить данные и делать с ними что угодно. А ваше приложение пусть лучше занимается той задачей для которой оно предназначено.

     
  • 6.28, Sw00p aka Jerom (?), 22:41, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Про смысл я написал.

    и собственно последний комент, - микроскопом гвозди тоже можно забивать (с-сохранены).


     
     
  • 7.37, PavelR (??), 07:22, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Уважаемый, сходите к специалисту, пусть он вам успокоительное выпишет. Хорошо?

    Предлагаю вам лично vstakhov написать про микроскоп и гвозди в ответ на комментарий #13.

     
     
  • 8.42, Sw00p aka Jerom (?), 13:51, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Три коментария подряд по вашему расшатанная психика А микроскопом гвозди забива... текст свёрнут, показать
     
     
  • 9.47, vstakhov (ok), 14:59, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Что значит по DNSSEC В Rspamd в секции DNS есть опция enable_dnssec , но она... текст свёрнут, показать
     
     
  • 10.53, Sw00p aka Jerom (?), 16:33, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    а чё тут не ясного то DKIM ключи, я считаю, должны исключительно получаться то... большой текст свёрнут, показать
     
     
  • 11.59, vstakhov (ok), 21:03, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален Как правило, с возрастом юношеский максимализм проходит ... текст свёрнут, показать
     
     
  • 12.65, Sw00p aka Jerom (?), 22:11, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Тут уместно было бы указать мой точный возраст, ибо вы выставляетесь фуфловщиком... текст свёрнут, показать
     
  • 3.41, Николай (??), 13:07, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Обновил вчера утром rspamd до версии 1.4 (FreeBSD). В логах Exim (4.87) стали появляться сообщения "cannot parse spamd [127.0.0.1]:11333, output: -1". Exim пропускал такие письма с неизвестным ему спам-рейтингом. К вечеру таких сообщений набралось порядка 900. Откатился на rspamd-1.3.5_1. Все пришло в норму.
     
     
  • 4.46, vstakhov (ok), 14:56, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Обновил вчера утром rspamd до версии 1.4 (FreeBSD). В логах Exim (4.87)
    > стали появляться сообщения "cannot parse spamd [127.0.0.1]:11333, output: -1". Exim пропускал
    > такие письма с неизвестным ему спам-рейтингом. К вечеру таких сообщений набралось
    > порядка 900. Откатился на rspamd-1.3.5_1. Все пришло в норму.

    К сожалению, exim единственный, кто использует старый протокол совместимости с SA. Все остальные давно используют HTTP/JSON. Ну и у меня нет никого, кто бы тестировал работу exim. В идеале нужно посмотреть дамп rspamd <-> exim для таких случаев и исправить проблему...

     
     
  • 5.49, Николай (??), 15:57, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Тем более странно, поскольку Exim очень распространен. Придется ждать новых версий Exim'а.  Спасибо за информацию!
     
     
  • 6.52, vstakhov (ok), 16:32, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Тем более странно, поскольку Exim очень распространен. Придется ждать новых версий Exim'а.
    >  Спасибо за информацию!

    Я постараюсь исправить эту проблему к 1.4.1. Извиняюсь за неудобства.

     
     
  • 7.54, Николай (??), 17:40, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Никаких претензий. Исключительно благодарность за труды и старания!
     
     
  • 8.57, vstakhov (ok), 20:56, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Гм, хотя нам пока не удалось воспроизвести проблему Она возникает на каких-то к... текст свёрнут, показать
     
     
  • 9.61, Николай (??), 21:33, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Такой объем писем не анализировал на предмет поиска чего-то общего На первый вз... текст свёрнут, показать
     
     
  • 10.69, vstakhov (ok), 01:05, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    А что пишет Rspamd в лог в это же время ... текст свёрнут, показать
     
     
  • 11.70, dwolfix (ok), 09:50, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Вновь запустил версию 1 4 0 Появились сообщения в логах Exim Выдержка из логов... большой текст свёрнут, показать
     
     
  • 12.71, vstakhov (ok), 11:51, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Это неприятно А можете получить core file и снять с него трейс https rspamd ... текст свёрнут, показать
     
     
  • 13.73, dwolfix (ok), 12:39, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    root 124 coreland gdb -c rspamd-1 4 0- core GNU gdb 6 1 1 FreeBSD Copyr... текст свёрнут, показать
     
     
  • 14.74, vstakhov (ok), 12:48, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Видимо, надо собрать порт rspamd с символами make clean deinstall reinstal DEBU... текст свёрнут, показать
     
     
  • 15.75, dwolfix (ok), 13:01, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    12 59 46 root 124 coreland gdb usr local bin rspamd -c rspamd-1 4 0- core... большой текст свёрнут, показать
     
     
  • 16.77, vstakhov (ok), 13:41, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Так, символы появились, но теперь не работает сам gdb А что если попробовать gd... текст свёрнут, показать
     
     
  • 17.78, dwolfix (ok), 14:58, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    14 56 09 root 124 coreland usr local bin gdb usr local bin rspamd -c rsp... большой текст свёрнут, показать
     
     
  • 18.79, dwolfix (ok), 15:13, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    А сейчас выдало вот что 15 11 48 root 124 coreland usr local bin gdb us... большой текст свёрнут, показать
     
     
  • 19.80, vstakhov (ok), 18:24, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Наверное, проблема как-то связана с ip maps Вы используете какие-то собственные... текст свёрнут, показать
     
     
  • 20.81, dwolfix (ok), 19:01, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Добавлял несколько списков multimap whitelist_ip type ip map C... большой текст свёрнут, показать
     
  • 21.82, vstakhov (ok), 20:37, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Надо попробовать удалить все, связанное с ip Хотя проблема очень странная ... текст свёрнут, показать
     
  • 22.86, dwolfix (ok), 09:40, 25/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Закомментировал настройки с IP в multimap Вот что получилось 09 35 13 root 12... большой текст свёрнут, показать
     
  • 23.87, vstakhov (ok), 14:31, 25/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Это еще интереснее, а давайте мы эту проблему в email обсудим напишите мне на v... текст свёрнут, показать
     
  • 2.15, www2 (??), 19:05, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Что там встроено? Нейронные сети? Кластеризация?
     

  • 1.8, анонимус вульгарис (?), 18:18, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Тыкал палочкой rmilter — осталось впечатление любительской наколенной поделки. Кто пробовал rspamd — насколько он годится к использованию?
     
  • 1.11, Аноним (-), 18:48, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    здесь можно хранить всякие баесы, скоры, репутации, и прочие конфиги в мускулах/редисах, чтобы шарить между пулом релаев ?
     
     
  • 2.12, vstakhov (ok), 18:51, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    В редисе можно. Поддержки mysql нет и не планируется.
     
     
  • 3.16, Аноним (-), 19:05, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    просто для понимания: в спамасс-не и том же амависе можно ВСЕ базы баесов, репутаций, скоров, правил погрузить в мускул и кое-что в редис. в амависе можно почти весь конфиг погрузить в мускул и лдап и заставить также спамасс-н брать все из мускула. это позволяет масштабировать нагрузку особо не парясь, что перл очень медленный по сравнению с чем-то там. У вас написано, что кое-что что-то там кладем в редис, но далеко не все ?
     
     
  • 4.17, vstakhov (ok), 19:31, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > просто для понимания: в спамасс-не и том же амависе можно ВСЕ базы
    > баесов, репутаций, скоров, правил погрузить в мускул и кое-что в редис.
    > в амависе можно почти весь конфиг погрузить в мускул и лдап
    > и заставить также спамасс-н брать все из мускула. это позволяет масштабировать
    > нагрузку особо не парясь, что перл очень медленный по сравнению с
    > чем-то там. У вас написано, что кое-что что-то там кладем в
    > редис, но далеко не все ?

    Просто для понимания: часть моих пользователей сканируют около сотни миллионов писем в сутки на кластере из десятков машин. И весь Rspamd писался ровно для таких конфигураций. Поэтому в Redis хранится ровно то, что нужно для таких конфигураций. Поэтому у этого "чего-то" есть вполне рациональное обоснование.

     
     
  • 5.19, vstakhov (ok), 19:46, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Что сейчас есть в редисе:

    * Веса для символов и настройки actions
    * Статистика (bayes)
    * Нечеткие хеши
    * Бакеты рейтлимитов
    * Токены грейлистинга
    * IP репутация и кеш
    * Кеш "тяжелых" проверок (antivirus, mx check etc)
    * Нейросети (вектора обучения и сами веса)
    * Настройки пользователей (индивидуальные правила, лимиты, веса, отключенные правила итп)
    * Различные списки

    Что не хранится в редисе:

    * Конфиги (нет смысла, т.к. есть puppet/ansible/whatever)
    * Правила (небезопасно, поэтому правила могут подгружаться только из подписанных json файлов, раздаваемых по http)
    * Различные редко изменяемые списки (проще раздавать по http и мониторить)

    Надеюсь, я ответил на ваш вопрос.

     
     
  • 6.25, VitalVas (ok), 22:35, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Что сейчас есть в редисе:
    > * Настройки пользователей (индивидуальные правила, лимиты, веса, отключенные правила итп)

    Вот с этого места немного подробней.
    Как это можно конфикурить (на лету в том числе)?

    Лимиты и отключения фильтров у меня сейчас хранится в sql хранилище - postgresql.
    Связки с rspamd пока никакой нет.

     
  • 6.29, serh (?), 22:41, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    спасибо.
    поддерживается ли редис кластер ?
    http://redis.io/topics/cluster-spec
     
     
  • 7.33, vstakhov (ok), 01:27, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > спасибо.
    > поддерживается ли редис кластер ?
    > http://redis.io/topics/cluster-spec

    Нет, но пока не было случаев, когда это было бы критично. Это же касается и redis sentinel.

     

  • 1.14, Moomintroll (ok), 18:59, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Сборка с clang плагином падает:

    [   79s] /home/abuild/rpmbuild/BUILD/rspamd-1.4.0/src/libutil/addr.c:731:3: error: format query error: number of arguments for rspamd_snprintf missmatches query string 'unix:%s', expected 1 args, got 2 args
    [   79s]                 rspamd_snprintf (addr_str, sizeof (addr_str), "unix:%s",

     
     
  • 2.18, vstakhov (ok), 19:32, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Сборка с clang плагином падает:
    > [   79s] /home/abuild/rpmbuild/BUILD/rspamd-1.4.0/src/libutil/addr.c:731:3: error:
    > format query error: number of arguments for rspamd_snprintf missmatches query string
    > 'unix:%s', expected 1 args, got 2 args
    > [   79s]        
    >         rspamd_snprintf (addr_str, sizeof
    > (addr_str), "unix:%s",

    Спасибо, исправлю, - у меня опять поломался libclang в моем тестовом окружении на Suse tumbleweed.

     

  • 1.22, CHERTS (??), 20:32, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Не так давно перешел с amavisd-new + spamassasin на rspamd + rmilter.
    3 сервера, >3000 почтовых ящиков, >20k писем в день, нагрузка на CPU снизилась существенно, количество спама упало процентов на 70% - я очень доволен.

    Всеволоду Стахову огромное спасибо за такой продукт, я считаю, что альтернатив ему нет.

     
     
  • 2.30, serh (?), 22:44, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    подскажите статистику: сколько памяти занимает база редиса.
    спасибо.
     
  • 2.34, Sw00p aka Jerom (?), 02:43, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    3 физ сервера на 3к мейлбоксов и при трафе 20к писем в день - не распил ли это?  
     
     
  • 3.36, Аноним (-), 07:19, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    помойки типа mailru могут на одну машину обслуживать намного больше клиентов
     
     
  • 4.43, Sw00p aka Jerom (?), 13:55, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > помойки типа mailru могут на одну машину обслуживать намного больше клиентов

    Ничего общего с мейл ру не имею, но банальный постфикс с довкотом на одном стандартном физ сервере куда больше клиентов обслужит.

     
  • 3.38, CHERTS (??), 08:38, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Помимо почты, на каждом сервере еще по 100-150 сайтов клиентов крутиться. Так что вполне нормально.
     
     
  • 4.44, Sw00p aka Jerom (?), 13:57, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Помимо почты, на каждом сервере еще по 100-150 сайтов клиентов крутиться. Так
    > что вполне нормально.

    Вопрос снят, значить сэкономили )))


     

  • 1.23, Аноним (-), 21:07, 22/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Планируется ли помимо Байесовского классификатора использовать hidden Markov model ?

    Будет ли расширяться количество поддерживаемых антивирусов ?

     
     
  • 2.31, Аноним (-), 23:59, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Есть поддержка Lua можешь уже писать!
     
  • 2.32, vstakhov (ok), 01:25, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Планируется ли помимо Байесовского классификатора использовать hidden Markov model ?

    Он и так использует hidden Markov model. Вопрос неясен.

    > Будет ли расширяться количество поддерживаемых антивирусов ?

    Будет, если антивирусы будут предоставлять спецификации протоколов.

     

  • 1.35, Аноним (-), 03:55, 23/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    А чем оно лучше bogofilter?
     
     
  • 2.39, Аноним (-), 10:43, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    only-байес vs хренов-комбайн-в-который-запихано-всё-даже-небо-даже-аллах.
     

  • 1.40, Онанимус (?), 12:01, 23/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Есть ли смысл использовать на одиночном, относительно мало нагруженном сервере с количеством ящиков ~100?
    И каких ресурсов (по минимуму) нужно выделить в QEMU, для такого виртуального сервера (ClamAV ставить не планируется)?
     
     
  • 2.45, Sw00p aka Jerom (?), 13:59, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Есть ли смысл использовать на одиночном, относительно мало нагруженном сервере с количеством
    > ящиков ~100?
    > И каких ресурсов (по минимуму) нужно выделить в QEMU, для такого виртуального
    > сервера (ClamAV ставить не планируется)?

    Смысла нет, правильно настроенный постфикс срежет вам 80% спама, а клам нужен полюбэ, он щас чуток лучше стал работать в отличии от далеких 2008 годов


     
     
  • 3.48, CHERTS (??), 15:19, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Правильно настроенный Postfix помимо того что срежет вам 80% спама, он еще и срежет 80% хороших писем, т.к. сервера-отправители этих писем настроены далеко не по rfc.
     
     
  • 4.50, анонимус вульгарис (?), 16:13, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Если письма не соответствуют RFC, это плохие письма. Туда им и дорога. Пусть админ отправителя читает отлупы и учится настраивать сервер нормально.
     
     
  • 5.58, vstakhov (ok), 20:59, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Если письма не соответствуют RFC, это плохие письма. Туда им и дорога.
    > Пусть админ отправителя читает отлупы и учится настраивать сервер нормально.

    Return-Path: <opennet@periscope.opennet.ru>

    % host periscope.opennet.ru
    periscope.opennet.ru has address 81.95.33.238
    % host 81.95.33.238
    Host 238.33.95.81.in-addr.arpa. not found: 3(NXDOMAIN)

    Расскажите нам, ага.

     
     
  • 6.63, Sw00p aka Jerom (?), 22:04, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    И это повод для гордости? Радует еще когда говорят мол gmail принимает, а вы нет )))))

    Нет соблюдения стандартам - анархия, а раз анархия - каждый волен делать все что пожелает. И не лечите никого как правильно жить.

    Пс: все ясно, в продолжении дискуссии смысла нет.

     
  • 6.66, Sw00p aka Jerom (?), 22:43, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    у periscope.opennet.ru даже MX нет
     
     
  • 7.85, Аноним (-), 03:51, 25/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    $ dig +short A periscope.opennet.ru
    81.95.33.238
     
     
  • 8.89, Sw00p aka Jerom (?), 20:12, 26/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    ну ну фолбек, если МХ прописать лень, то о ПТР речи не должно и быть ... текст свёрнут, показать
     
  • 4.55, Sw00p aka Jerom (?), 19:28, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Значить таким админам нужно потакать?
    А для чего стандарты придуманы (хоть и кривые) ?
    Если амин не может банально прописать птр запись для айпишника, что с него взять то? я обязан разве принимать от него почту ? А если обязан то тогда речь о спаме и быть не должна. одна тока проверка птр записи режет 50% всем спам писем, и этому доказательство статистика почтового трафика.
     
     
  • 5.72, Moomintroll (ok), 12:30, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Если амин не может банально прописать птр запись для айпишника

    Как правило, реверсивными записями заведует провайдер, и далеко не у каждого провайдера адекватная служба поддержки.

     
     
  • 6.83, PavelR (??), 20:41, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    1) сколько можно отмазываться?
    2) Размещайте почту там, где служба поддержки адекватна.
    Если служба поддержки не адекватна, значит они могут в любой момент вам и 25 порт подрезать. Вы этого не боитесь?
     
     
  • 7.84, Sw00p_aka_Jerom (ok), 21:43, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    у нас 25 порт закрыт отправляйте письма по 80 порту ))))))) вот отмазка будет.
     
  • 4.56, Sw00p aka Jerom (?), 19:40, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Правильно настроенный Postfix помимо того что срежет вам 80% спама, он еще
    > и срежет 80% хороших писем, т.к. сервера-отправители этих писем настроены далеко
    > не по rfc.

    а в случае "качественного спама" - достаточно заблокировать айпи смтп сервера и добавить в блеклист домен отправителя и всё (пусть потом спамер меняет айпи и свой домен, мой почтовый сервер от него больше не получит писем), и всякие спам фильтры по анализу письма идут лесом потому, что они бесполезны. связка SPF+DKIM+DMARC уже режет 90% писем, плюс ещё от спуфинга защищает, а спамассассин со своим байесом не нужен - лишнее звено. У клама одна тока проверка ссылок по гугл сейф броузингу уже отрежет 50% писем, потому что за вас уже ведёт список чёрных ссылок которые встречаются в спам письмах.

    Уберите из того же rsmapd модули SPF,DKIM,DMARC,Greylisting,рейтлимитов,IP репутация (DNSBL), MX проверка (которая в постфиксе из покон веков есть) что останется в итоге ? Нечеткие хеши, bayes, нейронные сети какието и всё ? И скока процентов спама такой фильтр будет резать ? Да не сколько, ибо всё упрётся в теорию нейронных сетей которые не идеальны и не практичны (если нужно хранить килограмовую базу).

     
  • 3.62, Lazy (?), 21:36, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > клам нужен полюбэ, он щас чуток лучше стал работать в отличии от далеких 2008 годов

    Ничего он практически не ловит. Я не видел, чтоб он в последнее время хоть одного червяка (которые маскируются под письма от сканнера) поймал.


     
     
  • 4.64, Sw00p aka Jerom (?), 22:07, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >> клам нужен полюбэ, он щас чуток лучше стал работать в отличии от далеких 2008 годов
    > Ничего он практически не ловит. Я не видел, чтоб он в последнее
    > время хоть одного червяка (которые маскируются под письма от сканнера) поймал

    Какого червяка? У меня он червяка и  пдф и в ворде ловит


     
  • 4.76, Аноним (-), 13:10, 24/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Подключи базы от sanesecurity и удивись. С дефолтными - да, будет редко и печально.
     
  • 2.60, Lazy (?), 21:21, 23/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Есть ли смысл использовать на одиночном, относительно мало нагруженном сервере с количеством
    > ящиков ~100?
    > И каких ресурсов (по минимуму) нужно выделить в QEMU, для такого виртуального
    > сервера (ClamAV ставить не планируется)?

    Я себе поставил примерно для такой почтовки, мне удобно. Ставил не на виртуалку, просто на один из серверов. Жужжит, основным делам не мешает.


     

  • 1.67, test1 (ok), 22:52, 23/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Можно эту систему каким то образом к CommuniGate прикрутить?
     
  • 1.68, test1 (ok), 23:17, 23/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Увидел скрипт для CommuniGate на github. Буду тестировать. Какие то подводные камни есть? Видел, что народ вроде интересуется связкой с CGP, но не могу найти отзывов толком о работе.
     
     
  • 2.91, Александр (??), 11:44, 02/12/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Затестил? Работает связка?
     
  • 2.92, vladadm (ok), 10:17, 13/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Есть новости по тестированию rspamd с cgp?
     
     
  • 3.93, Виктор (??), 19:53, 09/01/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Можете добавить поддержку антивируса DrWeb?


     
     
  • 4.94, vstakhov (ok), 20:04, 09/01/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Можете добавить поддержку антивируса DrWeb?

    Мне нужно описание протокола общения с демоном. А там можно подумать.

     
     
  • 5.96, Виктор (??), 10:52, 21/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >> Можете добавить поддержку антивируса DrWeb?
    > Мне нужно описание протокола общения с демоном. А там можно подумать.

    Вот описание:
    http://download.geo.drweb.com/pub/drweb/unix/doc/HTML/MailD/ru/

    пойдёт?

     

  • 1.95, Аноним (95), 11:48, 24/01/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Система ахтунг! Больше режет валидной почты, чем спама. Одно и тоже письмо одному режет, другому пропускает. Зачем-то повторяется функционал и в rspam и в rmilter, с документацией совсем плохо. Ненужные проверки не отключаются!
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру