The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Система анализа сетевых угроз Metron получила статус первичного проекта Apache

25.04.2017 11:11

Организация Apache Software Foundation объявила о присвоении Apache Metron статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после полутора лет нахождения в инкубаторе Apache, в котором были проверены способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache Metron признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта Metron написаны на языках Си и Java.

Изначально система Metron развивалась компанией Cisco в рамках проекта OpenSOC, после чего в декабре 2015 года была передана фонду Apache для привлечения других компаний к совместной разработке. Apache Metron представляет собой фремворк для анализа больших объёмов трафика для выявления возможных атак, обнаружения утечек закрытых данных и проведения расследования инцидентов, связанных с безопасностью. Система позволяет в режиме реального времени анализировать трафик, выявлять аномалии и генерировать предупреждения для инфраструктур уровня дата-центров и крупных сетевых операторов. Для организации хранения и обработки данных задействованы Apache Hadoop, Apache Storm, Apache HBase, Apache Kafka и Apache Solr.

Основные компоненты фреймворка:

  • Механизм для захвата, хранения и нормализации любых типов данных о трафике (телеметрия), поступающих c экстремально высокой интенсивностью (миллионы пакетов в секунду);
  • Система для передачи полученных потоков данных в различные блоки обработки для анализа, расширенных вычислений и принятия решений;
  • Обработчики данных в реальном режиме времени, выполняющие обработку и привязку дополнительных сведений к полученной телеметрии, таких как местоположение и информация из DNS. В результате телеметрия снабжается данными о контексте, текущей ситуации и важности для последующего исследования;
  • Бэкенд для хранения данных о трафике в хранилище на основе Hadoop, предоставляющий удобные механизмы для извлечения данных и реконструкции сведений о принадлежности пакетов. Данные могут храниться произвольное время и использоваться для последующего анализа инцидента или выявления источника утечек. Например, можно получить сведения о том, от кого была атака, какие данные могли попасть в руки атакующих и когда были отправлены данные;
  • Автоматизированная система индексации потоков телеметрии (перехваченных пакетов) в режиме реального времени. Для индексации могут использоваться движки Elasticsearch HDFS или Apache Solr;
  • Возможность использования SQL для обращения к данным в хранилище Hadoop;
  • Механизмы для выявления корреляции между данными телеметрии, через применение расширенных методов анализа и средств машинного обучения;
  • Набор интерфейсов ODBC/JDBC для обеспечения интеграции с внешними аналитическими инструментами;
  • Пользовательский web-интерфейс, дающий возможность исследователю безопасности централизованно оценить потоки данных и проследить за выявленными предупреждениями о возможных проблемах. Предоставляется возможность расширенного поиска информации и извлечения данных о содержимом пакетов.


  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Выпуск системы обнаружения атак Suricata 3.2
  3. OpenNews: Первый выпуск системы выявления аномалий Sysdig Falco
  4. OpenNews: В рамках сообщества wasp-guard началось формирование распределенной системы обнаружения вторжений
  5. OpenNews: Twitter открыл код библиотеки для выявления аномалий в наборах данных
  6. OpenNews: Компания Cisco представила Snort 3.0, систему предотвращения атак нового поколения
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/46447-apache
Ключевые слова: apache, metron, opensoc
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (23) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 11:43, 25/04/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Что за мода делать продукты для обеспечения безопасности на основе дырявых составных частей.

    https://www.elastic.co/community/security -  стабильно раз в пару месяцев remote code execution... remote code execution... remote code execution

    http://www.securiteam.com/securitynews/5BP2Y2AKUA.html Apache Hadoop 2.6.0 Remote Code Execution

    http://www.openwall.com/lists/oss-security/2015/06/20/2 Apache Storm remote code execution

     
     
  • 2.2, Аноним (-), 11:47, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    На базе Elasticsearch уже ботнеты строят. Теперь можно продемонстрировать высший пилотаж - ботнет из систем обнаружения вторжений :-)
     
     
  • 3.3, Аноним (-), 12:35, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    А вы не выставляте "голую жопу" против ежа.
    "На базе Elasticsearch уже ботнеты строят" - проблема "модных" Devops и "облаков", когда народ на элементарые средствах защиты укладывает "болт".
     
  • 2.4, Аноним (-), 12:43, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Правильные продукты для обеспечения безопасности, в первую очередь "сидят" в изолированой сети без выходы куда либо и "сушают" сеть.
     
     
  • 3.11, YetAnotherOnanym (ok), 17:13, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Радости с того, что оно в изолированной, если среди пакетов, выдернутых из трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости?
     
     
  • 4.12, пох (?), 18:30, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Радости с того, что оно в изолированной, если среди пакетов, выдернутых из
    > трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости?

    эта штука не кормит elastic пакетами из траффика, это не tcpdump.
    А если тебе кто-то сумеет прислать поддельный netflow-пакетик, то поздравляю шарик, ты балбес - тебе уже не аномалии надо в сети выискивать, а ловить хакера, поимевшего непосредственно сетевую инфраструктуру.
    Если что, описанная в статье похабень вовсе не для этого.

    ну и до кучи, эластиковые проблемы обычно со стороны интерфейса, а не со стороны базы.
    как, собственно, и у hadoop и у прочих.

     
     
  • 5.14, Аноним (-), 20:48, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Слушай эта вот вещь - metron - хоть стоящая? Или баловство одно?
     
     
  • 6.16, пох (?), 21:21, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    ну, типа, начнем с того, что циска ее - выбросила ;-) Причем довольно давно, там этому OpenSOC уже сто лет в обед.

    при этом коммерческие продукты у нее никуда не делись, то есть слезать с этой темы они вроде и не собираются (да и опасно, надо ж закрывать своими продуктами целиком проекты, а не отдельные части)

    для дома для семьи оно чудовищно сложное и меганавороченное (там, собственно, для того все эти эластики с хадупами, чтоб пережевывать какие-то совсем уж терабайтные потоки мусора), то есть это не корпоративное решение.

    Если у тебя, чисто случайно, завалялась действующая сетка размером этак с tele2, но plain ip (настоящей теледве не поможет, учти, ловить аномалии там бестолку) в которой данный вопрос еще не пытались решить, а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] - вполне можно попробовать, не догонишь так хоть согреешься - приобретешь бесценный опыт разворачивания подобных штуковин и их сопровождения.
    (ну только надо понимать, что "денег нет" - это "нет денег на найм отдельной команды, новый тендер и проект, реализуемый кем-то из интеграторов", а не нет денег на стойку серверов, нет резерва пропускной способности каналов и процессоров на flow, нет денег на зарплату тому кто большую часть своего рабочего времени на это потратит на протяжении полугодика. И сеть не должна быть совсем уж из дерьма и палок.)

     
     
  • 7.18, лютый жабист__ (?), 08:42, 26/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    А причём Теле2? В Теле2 в качестве SIEM используется Спланк. И в Циско, если верить Лукацкому, тоже Спланк. Так что видимо вывод: Метрон вещь НЕ стоящая :(
     
     
  • 8.20, пох (?), 09:19, 26/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    привел как пример правильного размерчика - еще не мегафон, где бардак уже не выл... текст свёрнут, показать
     
  • 7.25, Аноним (-), 21:21, 26/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > для дома для семьи оно чудовищно сложное и меганавороченное

    Ну вот на несколько тысяч рыл потестировать нормально... Или как из пушки?.

    > но plain ip (настоящей теледве не поможет, учти, ловить аномалии там бестолку) в которой данный вопрос еще не пытались решить, а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] - вполне можно попробовать, не догонишь так хоть согреешься - приобретешь бесценный опыт разворачивания подобных штуковин и их сопровождения.

    хех. не всегда бежать получается. бывают разные обстоятельства.

    > ну только надо понимать, что "денег нет" - это "нет денег на найм отдельной команды, новый тендер и проект, реализуемый кем-то из интеграторов", а не нет денег на стойку серверов, нет резерва пропускной способности каналов и процессоров на flow, нет денег на зарплату тому кто большую часть своего рабочего времени на это потратит на протяжении полугодика

    Опа. То есть без интегратора пытаться не стоит - ничего с этой темы не облезет?

     
  • 2.7, Аноним (-), 15:24, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Что за мода делать продукты для обеспечения безопасности на Java
     
     
  • 3.10, пох (?), 16:56, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Что за мода делать продукты для обеспечения безопасности на Java

    у циски _все_ сделано на жабке, не важно, для чего.

    готовьте стопиццотую версию JRE для работы с этим сокровищем - интерфейс, наверняка, на ней же.

     
  • 3.13, Sabakwaka (ok), 19:08, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >> Что за мода делать продукты для обеспечения безопасности на Java

    36 млрд установок, чё.
    Все 36 млрд — ошибаются, да.

     
     
  • 4.15, Аноним (-), 20:56, 25/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    неплохо ботнет)
     
  • 3.19, лютый жабист__ (?), 08:46, 26/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Что за мода делать продукты для обеспечения безопасности на Java

    Опять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет.

     
     
  • 4.21, пох (?), 09:29, 26/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >> Что за мода делать продукты для обеспечения безопасности на Java
    > Опять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет.

    конечно - мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денег, нам потом это дерьмище обслуживать, а кому-то, представь, и пользоваться им приходится.

    даже флэшовый интерфейс выглядит и работает лучше жабьего, не говоря уже о треше и кабздеце творящемся на серверной стороне жабоподелок. Но да, других не делают, в Бангалоре других программистов не выпекают.

    (с другой стороны, конечно, хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту. А так - достаточно было показать, КАК работает жабий ентер-прайс софт, и служебку подписали без вопросов. На этом я его быстренько унес на виртуалку от себя подальше, ибо на самом деле ему мало  ;-)

     
     
  • 5.22, RomanCh (ok), 10:02, 26/04/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вот вы вроде пытаетесь писать много околоумных буков и произвести впечатление. Но вот такие выверты смущают и несколько девальвируют ваши слова:

    > а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен]

    И тут же:
    > хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту.

    В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это серьёзно? Прям так и хочется предложить вам последовать вашему же совету :)

    А где работаете? Просто что бы понимать кого забанивать из предлагающих работу.

     
     
  • 6.23, пох (?), 15:01, 26/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это
    > серьёзно?

    честно говоря, единственным местом, где я работал, и это было не нужно клянчить, был некий крупный интегратор на букву И (потому что работал там вовсе не инженером, и дать за это по рукам или настучать руководству мог только я сам. У инженеров как обычно - денег на них, в те счастливые времена, особо не экономили, но и никаких золотых унитазов не полагалось. В цискофоне, если кто не в курсе, встроенный свитч до сих пор сотка, так что смысла акессы ставить гиговые не было никакого)
    А чего вы хотите, это ж инвестируемые компании...

    собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит? Для визии, аутглюка и ста терминалов "корпоративного стандарта" за глаза, а провода еще и не позволяют быстро вскочить и побежать. Адскую жабью херню, как уже говорилось, я унес нахрен на терминальник, там, как обычно, десять специфичных тухлых версий ВСЕГО надо подать, включая, кажется, саму винду.

    но вот metro redux на этом "корпоративном стандарте", действительно, не очень.

     
     
  • 7.24, RomanCh (ok), 20:11, 26/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, ХЗ, везде где я работал отношение к железу было как-то проще.

    > собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит?

    Например для диагностики работы системы видеоотдачи, для быстрого выкачивания из интернетов всяких опытных образов ОС, контейнеров и т.д. (да, можно всасывать сразу в ЦОД, но иногда удобней локально) Сети как и памяти много не бывает. Особенно памяти с современными браузерами.

     
     
  • 8.26, лютый жабист__ (?), 05:47, 27/04/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    почти всё бигдатовое ПО Опенсорс с 10 летней историей ув ыксперд Intellij Idea... текст свёрнут, показать
     
  • 8.27, пох (?), 18:52, 27/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    так, на минуточку - энтерпрайзненький циско-свитчик с 48 poe портами в принципе ... текст свёрнут, показать
     
     
  • 9.28, RomanCh (ok), 19:17, 28/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Какое раболепие Напомнить что все деньги компании зарабатываются вот этими са... текст свёрнут, показать
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру