The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Релиз СУБД Apache Cassandra 2.2

03.08.2015 16:37

Увидел свет релиз распределённой СУБД Apache Cassandra 2.2, относящейся к классу noSQL-систем и рассчитанной на создание высокомасштабируемых и надёжных хранилищ огромных массивов данных, хранимых в форме ассоциативного массива (хэша). Код проекта написан на языке Java и распространяется в рамках лицензии Apache 2.0. Изначально СУБД Cassandra была разработана в недрах компании Facebook и в 2009 году передана под покровительство фонда Apache. Промышленные решения на базе Cassandra, хранящие сотни терабайт данных, охватывающие сотни серверов и способные обрабатывать тысячи запросов в секунду, развернуты для обеспечения сервисов таких компаний и организаций, как Adobe, CERN, Cisco, IBM, HP, Comcast, Disney, eBay, Netflix, Sony, Rackspace, Reddit и Twitter.

Основные новшества:

  • Возможность прямого добавления, обновления и выборки данных в формате JSON, без необходимости применения надстроек sstable2json и json2sstable, которые объявлены устаревшими;
  • Поддержка создания определяемых пользователем функций из Java, Javascript и других языков, поддерживающих Java Scripting API. За счет встраиваемых функций, выполняемых на стороне СУБД и обрабатывающих данные без копирования на сторону конечного приложения, можно существенно поднять производительность всей системы обработки данных;
  • Внесена серия оптимизаций производительности, в том числе реализована поддержка сжатия лога коммитов и включена по умолчанию техника слияния сообщений;
  • Увеличена эффективность передачи данных между узлами за счёт включения гибкой системы сжатия, позволяющей выбрать разный уровень сжатия для разных условий, что особенно полезно в таких ситуациях, как перестроение узла после сбоя или перенос данных в новый ЦОД.
  • Добавлена система управления доступом на основе ролей, упрощающая администрирование конфигураций, охватывающих несколько команд разработчиков и отделов. Одни пользователи могут делегировать полномочия другим пользователям, в том числе на уровне выполнения операций CREATE, ALTER, DROP и AUTHORIZE, без необходимости получения привилегий суперпользователя;
  • Добавлена новая утилита sstableverify для проверки целостности всех таблиц;
  • Обеспечена полноценная поддержка платформы Microsoft Windows;

БД Cassandra объединяет в себе полностью распределённую hash-систему Dynamo, обеспечивающую практически линейную масштабируемость при увеличении объема данных. Cassandra использует модель хранения данных на базе семейства столбцов (ColumnFamily), отличающуюся от систем подобных memcachedb, которые хранят данные только в связке ключ/значение, возможностью организовать хранение хэшей с несколькими уровнями вложенности. Для упрощения взаимодействия с БД поддерживается язык формирования структурированных запросов CQL (Cassandra Query Language), напоминающий SQL, но урезанный по функциональности. Из возможностей можно отметить поддержку пространств имён и семейств столбцов, создание индексов через выражение "CREATE INDEX". Драйверы с поддержкой CQL подготовлены для языков Python, Java (JDBC/DBAPI2) и JavaScript (Node.js).

СУБД позволяет создавать устойчивые к сбоям хранилища: помещаемые в БД данные автоматически реплицируются на несколько узлов распределённой сети, которая может охватывать разные центры обработки данных. При сбое узла, его функции на лету подхватываются другими узлами. Добавление новых узлов в кластер и обновление версии Cassandra производится на лету, без дополнительного ручного вмешательства и переконфигурирования других узлов.

  1. Главная ссылка к новости (https://mail-archives.apache.o...)
  2. OpenNews: Опасная уязвимость в Apache Cassandra
  3. OpenNews: Выпуск СУБД Apache Cassandra 2.1
  4. OpenNews: Релиз БД Apache Cassandra 2.0 с поддержкой триггеров и легковесных транзакций
  5. OpenNews: Для MariaDB/MySQL представлено хранилище Cassandra. Обновление MySQL 5.1.66, 5.5.28 и 5.6.7
  6. OpenNews: Сервис Digg мигрирует с MySQL на БД Cassandra
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/42717-cassandra
Ключевые слова: cassandra
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (15) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (-), 17:53, 03/08/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Жрать по неск.гигов RAM для просто запуска на очень-микро-базе и крешиться с OOM оно уже перестало?
     
     
  • 2.5, vn971 (ok), 18:06, 03/08/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Жрёт как конь, скотина такая (по крайней мере это то что я вижу на своём ноуте с 16 Gb RAM и дефолтном дебиан-пакете кассандры).
     
     
  • 3.7, rmh (?), 18:42, 03/08/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Посмотрите на calculate_heap_sizes в /etc/cassandra/cassandra-env.sh, память можно подкрутить.
     
     
  • 4.8, vn971 (ok), 19:10, 03/08/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну вообще странно конечно конфиг в sh-скрипте редактировать. Но спасибо в любом случае. Воспользуюсь если придётся почаще кассандру включенной держать.
     
  • 2.6, rmh (?), 18:40, 03/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Количество гигов RAM настраивается в cassandra-env.sh
    По-умолчанию оно огромное, да.
     
     
  • 3.9, О как (?), 19:12, 03/08/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Пробовал! Много раз. Если уменьшить, то оно не грузиться -- не хватает на compaction при запуске.
     
  • 2.10, arzeth (ok), 22:02, 03/08/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    http://docs.datastax.com/en/cassandra/2.2/cassandra/operations/opsTuneJVM.htm
    У меня с OpenJDK в 2.1 и 2.2 при 4-х мелких keyspace ест 240МБ при MAX_HEAP_SIZE="50M" и HEAP_NEWSIZE="800M" (указывается в conf/cassandra-env.sh). С Oracle JDK примерно так же.

    И вообще в продакшен рекомендуют от 16ГБ до 64ГБ RAM (http://docs.datastax.com/en/cassandra/2.2/cassandra/planning/planPlanningHard), а при таких объёмах уже пофиг на лишние пару гигов оверхеда.

     
     
  • 3.11, Аноним (-), 22:30, 03/08/2015 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > У меня с OpenJDK в 2.1 и 2.2 при 4-х мелких keyspace
    > С Oracle JDK примерно так же.
    > а при таких объёмах уже пофиг на лишние пару гигов оверхеда.

    А потом еще удивляются, почему жабо-софт так недолюбливают :)


     
     
  • 4.13, Аноним (-), 09:55, 04/08/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Можно не любить дождь, но что от этого поменяется?
    По факту сравнимых аналогов на c нет, как будут можно будет сравнить, но практика показывает что в больших системах написанных на c (c++) появляются другие особенности, поэтому их не часто пишут на этих языках.
     
  • 4.14, Xenia Joness (ok), 12:33, 04/08/2015 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Просто надо снять розовые очки в виде "быстрых и малопотребляющих программ на С и ассемблере", выкинуть свои 640Кб оперативной памяти, и наконец осознать, что сейчас 2015 год. Java - современный язык для серьёзного софта, а не для школьных подделок всяких на С/С++. И пользователи этого софта совсем другие люди, а не нищеброды, которые плачут над бедным гигабайтом оперативной памяти. Проще говоря, не можешь, не используй. Это не для тебя.
     
     
  • 5.15, дядя (?), 13:07, 04/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    ты просто больное неразвитое существо
     
  • 5.16, Аноним (-), 13:46, 04/08/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > И пользователи этого софта совсем другие люди, а не нищeброды, которые плачут над бедным гигабайтом оперативной памяти.

    Ага, помню, когда у меня в ноуте уже было 8 ГБ оперативки, маководы^W "не нищeбрoды" важно раздувая щеки, гордо так сообщали, что 2ГБ (ну, максимум 4 ГБ) -- хватит сейчас всем! :)
    > Java - современный язык для серьёзного софта

    Ага, очень современный, из девяностых, с костялями из восьмидесятых :). А груви, кложуры и скалы для ДЖВМ придумали хипстeры.

     
  • 5.17, Организация Объединённых Тюленей (?), 18:25, 04/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Bioreactor, ты?
     
  • 2.12, Аноним (-), 01:34, 04/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >очень-микро-базе

    И вот нафига тут касандра?

     
     
  • 3.18, vn971 (ok), 13:21, 13/08/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Во время девелопмента м.б.?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру