|
 Вариант для распечатки |
Пред. тема | След. тема | ||
| Форум Разговоры, обсуждение новостей | |||
|---|---|---|---|
| Изначальное сообщение | [ Отслеживать ] | ||
| "Уязвимость в Apache Hadoop" | +/– |  |
| Сообщение от opennews (??) on 29-Ноя-16, 17:11 | ||
В Apache Hadoop (http://hadoop.apache.org/), свободной платформе для организации распределённой обработки больших объёмов данных, выявлена (http://seclists.org/oss-sec/2016/q4/537) критическая уязвимость (CVE-2016-5393), позволяющая злоумышленнику, аутентифицированному в HDFS NameNode, выполнить произвольный код c правами сервиса HDFS. Проблема устранена в выпусках Apache Hadoop 2.7.3 и 2.6.5, которые были опубликованы в августе и октябре (во время релизов, явно не было упомянуто об исправлении уязвимости). Уязвимость вызвана (https://issues.apache.org/jira/browse/HADOOP-13434) отсутствием экранирования (https://github.com/apache/hadoop/pull/119/commits/76aa663947...) спецсимволов при запуске команд через shell. | ||
| Ответить | Правка | Cообщить модератору | ||
| Оглавление |
|
| Сообщения по теме | [Сортировка по времени | RSS] |
| 1. "Уязвимость в Apache Hadoop" | +/– | |
| Сообщение от А (??) on 29-Ноя-16, 17:11 | ||
Интересно, какие права у Hadoop в типичной системе, где он используется? | ||
| Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору | ||
 | ||
| 2. "Уязвимость в Apache Hadoop" | +/– | |
| Сообщение от Аноним (??) on 29-Ноя-16, 18:13 | ||
Юзерские. Каких-то расширенных прав для нормальной работы он не требует. | ||
| Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору | ||
| 3. "Уязвимость в Apache Hadoop" | +2 +/– |  |
| Сообщение от Фокс Йовович (ok) on 29-Ноя-16, 23:45 | ||
Что Hadoop, что Spark - кривое тормозное жручее глючное ненужно. Юзали у себя в конторе, чтобы обрабатывать много данных в реальном времени. На ~1000 евентов в секунду понадобилось аж четыре железных машины под спарк-слейвы. А те вещи, которые на обычном питоне делаются в одну строчку, в спарке иногда занимают экран кода и полдня дебага. В итоге выкинули нахрен спарк и переписали всё на обычном питоне с joblib. ВНЕЗАПНО теперь вся обработка данных спокойно умещается на одну машину. Нет спарка - нет проблемы. С апачьего кладбища у нас сейчас в ходу только Kafka (плюс Zookeeper). Как только найдём, чем эту кафку заменить, выкинем и её. | ||
| Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору | ||
| ||
| 4. "Уязвимость в Apache Hadoop" | +/– |  |
| Сообщение от ACCA (ok) on 30-Ноя-16, 00:15 | ||
> ходу только Kafka (плюс Zookeeper). Как только найдём, чем эту кафку | ||
| Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору | ||
| ||
| 7. "Уязвимость в Apache Hadoop" | +/– | |
| Сообщение от Фокс Йовович (ok) on 30-Ноя-16, 17:41 | ||
Zookeeper нужен кафке, нам он нафиг не упёрся. | ||
| Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору | ||
| ||
| 5. "Уязвимость в Apache Hadoop" | +/– | |
| Сообщение от Аноним (??) on 30-Ноя-16, 10:36 | ||
Индивидуально написанный код под обработку конкретной задачи грамотными программистами(не суперзвёздами) понимающими суть и бизнес-смыл решаемой задачи не ограниченными жёсткими временными рамками очень часто работает быстрее универсального решения, особенно для "нестандартных" задач. | ||
| Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору | ||
| ||
| 6. "Уязвимость в Apache Hadoop" | +/– | |
| Сообщение от Аноним (??) on 30-Ноя-16, 13:29 | ||
Интересно... Продолжай. | ||
| Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору | ||
| ||
| 8. "Уязвимость в Apache Hadoop" | +1 +/– | |
| Сообщение от Фокс Йовович (ok) on 30-Ноя-16, 18:09 | ||
Та хрен редьки не слаще, что жабка, что эрланг. ZMQ вообще не вариант, потому что нужна персистентность и durability. Алсо, сама архитектура кафки на удивление нравится. В отличие от всяких MQ, кафка практически ничего не делает! Она просто тупо получает бинарный блоб, дописывает в конец файла и хранит некоторое время. Можешь попросить у кафки все сообщения, начиная с определённого номера. Старые сообщения кафка через заданное время удаляет. Остальное её не касается. Как ты будешь читать сообщения, успеешь или нет их обработать - ей пофиг. Ну ладно, вру: есть ещё тупое API - потребитель может поставить отметку, до какого места он уже обработал сообщения. Но кафке всё равно пофиг - она их всё равно удалит через заданное время, отметка чисто дле тебя. Ну ещё кафка умеет всё это делать распределённо, когда одна очередь размазана по нескольким машинам, с избыточностью и параллелизмом. Больше она не делает НИЧЕГО. И это круто, прямо юникс-вей. После сраного AMQP - как небо и земля. Офигение вызывает лишь одно. На то, чтобы ничего не делать, у неё спокойно уходит два гига памяти. Жабка ж. Как только кто-нибудь перепишет на нормальном языке, так я первый в очередь. | ||
| Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору | ||
| ||
| 9. "Уязвимость в Apache Hadoop" | +/– | |
| Сообщение от Аноним (??) on 30-Ноя-16, 20:05 | ||
Ну да, линкедин рекомендует не мелочиться и таки выдать эти 64ГБ ОЗУ %). Я сам долго офигевал, но давал не более 8ГБ. | ||
| Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору | ||
| ||
| 10. "Уязвимость в Apache Hadoop" | +/– |  |
| Сообщение от alex53 (ok) on 01-Дек-16, 21:20 | ||
| ||
| Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору | ||
| ||
| 11. "Уязвимость в Apache Hadoop" | +/– |  |
| Сообщение от SunXE (ok) on 12-Дек-16, 00:39 | ||
Смысл hadoop в том, чтобы размазанные по большему количеству серверов данные обрабатывать ярном или спарком на тех жа серверах на которых они находятся, а не выкачивать их перед обработкой. Это актуально когда данных сотни террабайт. | ||
| Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору | ||
|
Архив | Удалить |
Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема |
