Исходное сообщение
"Компания Yahoo выпустила свободный дистрибутив платформы Apa..." Отправлено uZver, 16-Июн-09 13:43
>да вы хоть читали что такое MapReduce, чтобы о транзакционной целостности говорить?! Да, читал и даже тестировал :) >MapReduce - это всего лишь способ обработки данных, при котором обаботка >происходит в два этапа - разбитие данных на пары ключ/значение и >их агрегация. В принципе да, только делать MR поверх одной СУБД - потеря скорости, даже по отношению к хранимкам. Преимущество MR достигается на параллельной работе с ЛОКАЛЬНЫМ (для каждого нода) данными. > Способ хранения никак не оговаривается. Да, но без HDFS или другой распределенной ФС MR будет медленнее PL/SQL. > Просто в Yahoo для >хранения используют файловую систему HDFS и базу HBase, которая поверх этой >фс работает. Все три компонента и составляют дистрибутив Hadoop. Так вот >в HBase есть поддержка транзакций, но не по стандарту SQL, как >мы к этому привыкли. А по какому стандарту идет поддержка транзакций в HBase? Сколько я не читал ни разу не видел записи о том, что HBase имеет поддержку транзакций. Специально зашел к гуглу - у них тоже ни разу не значится Big Table как транзакционная система. Только fault-tolerance. > А целостность достигается за счет использования HDFS >с избытоной репликацией. Тут опять ошибка. HDFS обеспечивает файловую целостность. А мне нужна целостность данных, т.е. целостность между данными внутри файла(ов). К примеру это гарантия что внешний ключ ВСЕГДА указывает на существующую запись. И т.п. репликация HDFS никаким образом не спасет от нарушения логической целостности внутри файла данных.