The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

AOL опубликовал систему индексации сетевого трафика Moloch 2.3

11.05.2020 10:00

Компания AOL выпустила релиз системы для захвата, хранения и индексации сетевых пакетов Moloch 2.3, предоставляющая инструменты для наглядной оценки потоков трафика и поиска связанной с сетевой активностью информации. Код написан на языке Си (интерфейс на Node.js/JavaScript) и распространяется под лицензией Apache 2.0. Поддерживается работа в Linux и FreeBSD. Готовые пакеты подготовлены для разных версий CentOS и Ubuntu.

Проект был создан в 2012 году с целью создания открытой замены коммерческой платформы обработки сетевых пакетов, способной масштабироваться до уровня объёмов трафика AOL. Внедрение новой системы в AOL позволило добиться полного контроля за инфраструктурой за счёт развёртывания на своих серверах и значительно снизить издержки - применение Moloch для полного захвата трафика во всех сетях AOL по затратам обошлось в сумму, аналогичную той, что при применении коммерческого решения раньше тратилась на захват трафика только в одной сети. Система может масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду. Объём хранимых данных ограничивается только размером имеющегося дискового массива. Метаданные о сеансах индексируются в кластере на базе движка Elasticsearch.

Moloch включает инструменты для захвата и индексации трафика в штатном формате PCAP, а также для быстрого доступа к проиндексированным данным. Для анализа накопленной информации предлагается web-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON. Применение формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark.

Moloch состоит из трёх базовых компонентов:

  • Система захвата трафика - многопоточное приложение на языке Си для мониторинга трафика, записи дампов в формате PCAP на диск, разбора захваченных пакетов и отправки метаданных о сеансах (SPI, Stateful packet inspection) и протоколах в кластер Elasticsearch. Возможно хранение PCAP-файлов в зашифрованном виде.
  • Web-интерфейс на базе платформы Node.js, который запускается на каждом сервере захвата трафика и обрабатывает запросы, связанные с доступом к проиндексированным данным и передачей PCAP-файлов через API.
  • Хранилище метаданных на базе Elasticsearch.

В web-интерфейсе предусмотрено несколько режимов просмотра - от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов.

В новом выпуске:

  • Осуществлён переход на использование бестипового формата для индексации в Elasticsearch.
  • Добавлены примеры фильтров захвата трафика на языке Lua.
  • Реализована поддержка 46-черновой редакции протокола QUIC.
  • Переработан код для разбора протоколов, появилась возможность написания парсеров для протоколов уровня Ethernet и IP.
  • Предложены новые парсеры для протоколов arp, bgp, igmp, isis, lldp, ospf и pim, а также парсеры неизвестных протоколов unkEthernet и unkIpProtocol.
  • Добавлена опция для выборочного отключения парсеров (disableParsers).
  • В web-интерфейс добавлена возможность показа любого целочисленного поля на графиках, выставленного на странице с настройками.
  • Графики и заголовки теперь могут закрепляться и не смещаться при прокрутке страницы.
  • Большая часть навигационных панелей по умолчанию скрыта или свёрнута.


  1. Главная ссылка к новости (https://github.com/aol/moloch/...)
  2. OpenNews: Армия США открыла код системы анализа сетевого трафика Dshell
  3. OpenNews: Система анализа интернет трафика OpenDPI выпущена под лицензией LGPL
  4. OpenNews: Компания Cisco открыла OpenSOC, платформу для анализа больших объемов трафика
  5. OpenNews: Компания Cloudflare опубликовала xdpcap, анализатор трафика на основе подсистемы XDP
  6. OpenNews: Выпуск анализатора трафика Zeek 3.0.0
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/52927-moloch
Ключевые слова: moloch, pcap, traffic, capture, ids, aol
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (46) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, A.Stahl (ok), 11:02, 11/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +10 +/
    >Moloch

    Какое милое название. Нужен ещё архиватор "Ктулху" и графический редактор Blood&Gore.

     
     
  • 2.6, 1 (??), 12:39, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Moloch-nice
     
  • 2.7, Michael Shigorin (ok), 13:04, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • –21 +/
    Возможно, _эта_ "америка-онлайн" и впрямь каких-то своих детей такому в жертву принесла...
     
     
  • 3.8, Аноним (8), 13:27, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +8 +/
    А ты все про младценцев :-)
     
     
  • 4.26, Аноним (-), 18:05, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Он просто Библию читал
     
     
  • 5.29, Fyjy (?), 18:55, 11/05/2020 Скрыто ботом-модератором     [к модератору]
  • +2 +/
     
  • 5.30, nuclight (??), 19:04, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Этим все тогдашние народоы баловались. Включая б-гоизбранных евреев (чувак-то не удивился, когда Яхве потребовал сына в жертву принести).

    Но все - крайне редко сугубо в исключительных случаях (верьте археологам, а не древнееврейской пропаганде).

     
     
  • 6.36, евреи (?), 22:29, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    если бы "не удивился" - в чем бы тогда был подвиг повиновения Б-гу ? "подумаешь, сына в жертву, не сегодня так завтра все равно бы пришлось, все так делают - новых нарожаем"
    (кажется, у поклонников темных богов именно так ведь и было принятно - и в древней Греции, и в Индии, и в Мексике? Не особо и парились. Про Карфаген ладно, его историю писали его враги.)

    Ан, нет, внезапно - трагедия и моральная дилемма. Ни разу такого не было "принято".

     
  • 3.22, macfaq (?), 16:58, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    За использование "linux" - безусловно.
     
  • 3.33, InuYasha (?), 22:10, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Точно. Тоже первое, о чём вспомнил. v=M3IoORyaSH4 Аноны не поймут.
     
  • 2.9, Аноним (9), 13:28, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • –10 +/
    Вавилон разрушен был, и строящийся тоже схлопнется. Ибо нех себя божествами считать.
     
     
  • 3.25, Аноним (9), 18:04, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Ситуация с короновирусом серьезно бьёт по гордыне тех, кто ещё вчера думал, что всемогуч и может всем управлять
     
     
  • 4.28, Аноним84701 (ok), 18:46, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Ситуация с короновирусом серьезно бьёт по гордыне тех, кто ещё вчера думал, что всемогуч и может всем управлять

    В выдуманном анонимо-фантазийном мире -- несомненно.


     
  • 4.32, псевдонимус (?), 19:16, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ситуация с корововирусом показало убожество современной экономической модели.
     
     
  • 5.34, пох. (?), 22:18, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    наоборот - у гугля по информации гугля выросла эффективность и кпи, а у китайцев в общем-то экономику и не выключали на "чисто поржать - все сдохнут или кто-то выживет", чтобы включить обратно на пике эпидемии, как в двух бесполезных странах - она и не очень повалилась.

    У бесполезных стран здорово убавится населения (не 1% как в китае, и от числа заболевших, а 2-3, от числа всего населения, ибо незаболевших не будет) - что тоже вполне улучшит мировую экономику, для обслуживания трубы и отмыва денег столько людишек и не надо.

    Вот что делать теперь с конь-ституцией, и как пони Вадика вводить в сенат - непонятно, поскольку лохторат, походу, не доживет до голосования. А, ну, впрочем, да - "большинство голосов нам поставит кладбище", нет никакой проблемы.

     
     
  • 6.37, псевдонимус (?), 22:30, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    На гугле свет клином не сошелся.

    Китайцы очень грамотно локализовали эпидемию, при этом не сажая полстраны на дурацкую двухмесячную "самоизоляции", обреченную на провал.

     
     
  • 7.40, пох. (?), 00:30, 12/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Китайцы очень грамотно локализовали эпидемию

    у них вторая волна пошла - в том числе в У-хрени.

    > при этом не сажая полстраны на дурацкую двухмесячную "самоизоляции"

    да, они посадили на двухмесячный жесткий карантин - ты не видел фотки заваренных нахрен дверей в подъезды? Гугли.
    Никаких тебе "погулять собачку" - на балконе погуляешь, и никаких "навестить ближайший магазин" в зараженных районах по две недели было нельзя в принципе.

    А потом стало можно - если твой смартфон покажет зеленый код. ("у меня бабушкофон" - не канало, бабушка - вот дома и сиди тогда, ешь ковер) Прошелся в одном секторе с зараженным - код станет красным и опять две недели не можешь порог перешагивать.

    Но китайцев много - все не перемрут. С голодухи (из-за таки разорившихся не смотря на открытые границы и ограниченную возможность работать бизнесов) тоже не все. Кто-то обязательно продолжит штамповать корпуса для ипхонов и нехусов. А у гугля как раз производительность труда выросла ;-)


     
     
  • 8.41, псевдонимус (?), 00:53, 12/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален То, что будут ещё волны инфекции доктора знали сразу До... текст свёрнут, показать
     
     
  • 9.51, пох. (?), 14:30, 15/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    это никак нельзя было сделать - как это, обитателей курщавеля из восьмизвездочно... текст свёрнут, показать
     
  • 6.38, псевдонимус (?), 22:33, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > наоборот - у гугля по информации гугля выросла эффективность и кпи, а
    > у китайцев в общем-то экономику и не выключали на "чисто поржать
    > - все сдохнут или кто-то выживет", чтобы включить обратно на пике
    > эпидемии, как в двух бесполезных странах - она и не очень
    > повалилась.
    > У бесполезных стран здорово убавится населения (не 1% как в китае, и
    > от числа заболевших, а 2-3, от числа всего населения, ибо незаболевших
    > не будет) - ч

    то тоже вполне улучшит мировую экономику, для обслуживания
    > трубы и отмыва денег столько людишек и не надо.
    > Вот что делать теперь с конь-ституцией, и как пони Вадика вводить в
    > сенат - непонятно, поскольку лохторат, походу, не доживет до голосования. А,
    > ну, впрочем, да - "большинство голосов нам поставит кладбище", нет никакой
    > проблемы.

    Никакой смертности в 1℅ от населения не будет, не выйдет у тебя лулзов словить.


     
  • 3.27, Аноним (9), 18:07, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Диванные боги заминусовали. Но почему-то при этом минусуют микрософт, АНБ и прочие массовые электроны.
     
  • 2.16, джони (?), 15:14, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    а мне очень нравится.. можно в Satanic Babylon 666 переименовать даже..
     
     
  • 3.17, A.Stahl (ok), 15:33, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Или в стиле японских игр: "Celestial Sakura of Daemonic Quartet: Rainbow's delight"
    Уверен что фанаты аниме смогут придумать ещё страшнее.
     

  • 1.2, Аноним (2), 12:06, 11/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Знает кто-нибудь тулзу для конвертирования netflow в sflow на лету?
     
  • 1.3, Аноним (3), 12:16, 11/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    "Внедрение новой системы в AOL позволило добиться полного контроля за инфраструктурой за счёт развёртывания на своих серверах и значительно снизить издержки"

    Как-то это не модно и не молодежно.

     
     
  • 2.42, хотел спросить (?), 03:11, 12/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    я всегда говорил что облака и всякие XxaS это дорого
     

  • 1.4, Иваня (?), 12:20, 11/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Топ тулза, юзаем постоянно
     
     
  • 2.10, НяшМяш (ok), 13:35, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Добрый день, товарищ майор.
     
     
  • 3.11, Аноним (11), 13:49, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Здравия желаем, товарищ капитан.
     
     
  • 4.13, Аноним (-), 13:59, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Наша служба и опасна и трудна
     
     
  • 5.18, Аноним (18), 15:38, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    С прошедшим праздником вас, товарищи офицеры.
     
     
  • 6.21, Анонымоус (?), 16:39, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это не их праздник.
     
     
  • 7.23, Аноним (23), 17:08, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    ПраздникНаш!
     
     
  • 8.46, Bob (??), 17:27, 12/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Разговоры отставить Тишина в строю ... текст свёрнут, показать
     

  • 1.14, Повидло19 (?), 14:46, 11/05/2020 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –3 +/
     

     ....ответы скрыты (5)

  • 1.39, InuYasha (?), 22:36, 11/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    В РФ точно форкнут в OpenSORM )
     
     
  • 2.43, товарищ майор (?), 12:14, 12/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    а опен-то зачем?
     
     
  • 3.48, псевдонимус (?), 19:48, 12/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Товарищь майор, неужели вам есть что скрывать от своих товарищей? Так и до неполного служебного не далеко:-(
     

  • 1.47, псевдонимус (?), 19:44, 12/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Реквестирую распределённую БД Bafometh!
     
  • 1.49, Аноним (49), 22:44, 12/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Охпля, полчаса пацталом. Зачем так издеваться над людями? Суперсистема захвата трафика (понятно для кого) и elasticsearch?
    Кстати а этот elastic в 12-м году уже был? ЕМНИП я как раз в том году с lucene завязал и это была версия 3. Ну, может 4 намечалась в виде RC. Про существование elastic не припоминаю.
    И вообще, elastic - это для смузихлёбов ниасиливших lucene и JCC.
     
     
  • 2.50, Ефросий (?), 07:34, 14/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Не завязал а не осилил, API люсена шибко быстро меняется от версии к версии
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру