Корень / Программы для администратора / Clusters / Распределенные и кластерные ФС

Wuala - Secure Online Storage [+] [обсудить]   Сервис удаленного хранения данных, позволяющий копировать файлы на виртуальный диск и получать доступ к файлам из любой точки глобальной сети. Главное отличие Wuala от систем подобных Amazon S3 и DropBox в том, что для хранения и доступа к данным используется технология P2P. Для обеспечения высокой скорости загрузки данных и доступности разработчики использовали множество идей, взятых из P2P сетей. Перед загрузкой на виртуальный диск данные шифруются, а затем множество копий распределяются между различными пользователями Wuala. Избыточность вычисляется с помощью специального алгоритма, который оценивает время непрерывной работы удаленного узла, пропускную способность, надежность и местоположение.   Dropbox - online backup and file sync service [+] [обсудить]   Сервис удаленного хранения данных, предоставляющий пользователям доступное из любой точки сети хранилище, которое можно использовать для хранения бэкапов, для организации совместного доступа к файлам или для проведения синхронизации данных между несколькими машинами. Dropbox-клиент распространяется в исходных текстах, а также в виде сборок для популярных Linux-дистрибутивов. Для Ubuntu, openSUSE и Mandriva доступны близкие по функциональности специализированные аналоги - Mandriva Click’n Backup, iFolder и Ubuntu One. Альтернатива Dropbox также разрабатывается совместно командами разработчиков KDE и GNOME, используя в качестве основы систему ownCloud, представляющего собой серверное решение для организации совместного хранения документов и файлов, а также для обеспечения обмена данными между пользователями.   Tahoe - secure, decentralized, fault-tolerant filesystem [+] [обсудить]   Распределенная, децентрализованная и устойчивая к сбоям файловая система. Обладает следующими свойствами: Высокая надежность, файл разбивается на блоки, каждый блок дублируется по умолчанию на три разных узла в сети (число дубликатов может меняться в зависимости от настроек); Высокая безопасность, все блоки данных шифруются, владелец узла не может контролировать данные на его машине; Широкая поддержка программных платформ, может использоваться как в Windows, так и в Linux (FUSE модуль или доступ через HTTP и SMB); Возможность управления правами доступа к файлам, позволяющая строить смешанных хранилища в которых размещаются файлы многих пользователей, включая средства защиты от изменений файлов и возможность пользователю предоставить права на изменений или доступ к определенным файлам для другого пользователя; Исходные тексты распространяются в рамках лицензии GPLv2, код написан на языке Python. Также можно отметить проект Freenet, архитектурно похожей на Tahoe файловой системы, написанной на Java и нацеленной на создание глобальной децентрализованной P2P сети, в которой данные не привязаны к владельцу и имеют анонимный характер.   Zumastor - enterprise storage for Linux (Версия: 0.8 от 2008-05-11) [+] [обсудить]   VFS прослойка дающая возможность снабдить любую Linux ФС (ext3, xfs, reiser и т.д.) средствами создания атомарных снапшотов с рабочим срезом ФС в заданным момент времени. Второй важно особенностью является поддержка репликации данных на удаленный хост. Система работает в режиме copy-on-write, данные не перетираются, а добавляются, т.е. доступен рабочий срез состояния на любой момент времени.   CacheFS - general filesystem cache (доп. ссылка 1) [+] [обсудить]   Позволяет организовать кэширование файлов читаемых и записываемых на NFS, CIFS, AFS, ISOFS разделы, с сохранением кэшируемых данных в локальной файловой системе. В основном используется совместно с NFS. Монтирование выглядит примерно так: mount -V cachefs -o backfstype=nfs,cachedir=/cache-directory remhost:/rem-directory local-mount-point Похожие разработки: CRFS (Coherent Remote File System) и идеи Евгения Полякова HOWTO FS-Cache   Ceph - Distributed Network File System [+] [обсудить]   Ceph может использоваться на системах, состоящих от нескольких машин, до тысяч узлов. Общий объем хранилища данных может измеряться Петабайтами, встроенные механизмы продублированной репликации данных (не зависит от отказа отдельных узлов) обеспечивают чрезвычайно высокую живучесть системы, при добавлении или удалении новых узлов, массив данных автоматически ребалансируется с учетом новшеств. В отличии от таких файловых систем, как GFS, OCFS2, и GPFS, в Ceph обработка данных и метаданных разделена на различные группы узлов в кластере, примерно как это сделано в Lustre, с тем различием, что обработка производится на уровне пользователя, не требуя какой-то особой поддержки от ядра. Ceph может работать поверх блочных устройств, внутри одного файла или используя существующую ФС (например, XFS).   DST - Distributed storage. [+] [обсудить]   DST функционирует на уровне блочного устройства, работающего поверх нескольких машин в сети (ближайшие аналоги - DRBD, iSCSI и NBD). Обработка данных производится в неблоркирующем режиме. Поддерживаются различные алгоритмы распределения данных, например - зеркалирование или создание линейного хранилища охватывающего все узлы. Кроме того, система снабжена средствами автоконфигурации (параметры удаленных узлов определяются автоматически) и автоматической обработки ситуации определения сбоя и последующего восстановления: при обнаружении сбоя (например, выключения удаленной машины), проблемный узел помечается неактивным до момента возобновления достижимости, после чего накопившиеся данные синхронизируются на него, не требуя какого-либо участия администратора.   Hadoop - framework for running applications on large clusters [+] [обсудить]   Фреймворк на Java для организации распределенных вычислений с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы "MapReduse" приложений. Система создана как субпроект поискового механизма Apache Lucene и апробировалась в кластере с 600 узлами.   Gfarm - file system is a network shared file system (Версия: 2.5.8 от 2013-05-15) [+] [обсудить]   Альтернативная к NFS распределенная файловая система, способная объединить в единое пространство диски обособленных друг от друга машин. Работает под Linux, FreeBSD, Solaris и NetBSD. Имеется FUSE модуль.   DSGrid - Cleversage Dispersed Storage Grid File System [+] [обсудить]   Файловая система, предназначенная для создания распределенных в глобальной сети систем хранения данных. Каждый блок данных в DSGrid разбивается на 11 частей, которые сохраняются на различных машинах в сети. Данные дублируются и для сохранения целостности необходима работа всего 6 узлов из 11.   MapFS - Linux filesystem which utilizes copy-on-write functionality [+] [обсудить]   Фирма Levanta представила под GPL лицензией реализацию файловой системы MapFS, позволяющей Позволяет монтировать группе машин удаленную файловую систему доступную в режиме только для чтения, но дающую возможность модификации файлов, при этом изменения произведенные на каждой машине сохраняются локально. Идея похожа на UnionFS, за тем исключением что монтируется удаленная ФС. Другие похожие ФС: ClusterNFS - патчи для NFS позволяющие реализовать подобную MapFS функциональность; mini_fo, cowloop (copy-on-write loop driver), ovlfs (Overlay Filesystem), translucency - подобие UnionFS;   nfsv4_bsd - NFSv4 software for BSD [+] [обсудить]   NFS4 сервер и клиент для BSD систем (FreeBSD, OpenBSD).   NOOFS - file system storing its data in an SQL relational database. (Версия: 0.9.0 от 2006-02-04) [+] [обсудить]   Файловая система, использующая в качестве хранилища данных SQL базу, в частности PostgreSQL. Функциональность: Создание единого хранилища данных в сети; Расширенные средства управления безопасностью; Функции быстрого поиска файла; Хранение расширенной информация об элементе ФС; Виртуальное управление директориями - папки с динамически формируемым содержимым; Встроенные средства по управлению целостностью данных.   OCFS - Oracle Cluster File System [+] [обсудить]   Файловая система от Oracle, распространяемая под лицензией GPL. Предназначена для создания единой ФС, разнесенной по всем нодам кластера.   MogileFS - open source distributed filesystem [+] [обсудить]   Распределенная файловая система созданная в рамках проекта LiveJournal и реализованная на уровне многоплатформенного приложения на Perl. Присутствуют операции создания файла (путь к файлу представляет собой множество ключей в рамках заданных доменов, информация о файлах хранится в MySQL базе) и его чтения (т.е. пригодна для решения задач, когда нужно один раз создать файл, а потом многократно его читать, модификация файла производится только путем полной перезаписи). Для каждого файла задается его класс, определяющий на какое число соседних машин от будет реплицирован. Отлично подходит для создания распределенных web-проектов и как средство создания высоконадежного хранилища данных, не прибегая к использованию RAID. Доступ пользовательских приложений к ФС осуществляется посредством HTTP запросов (PUT/GET) или через использования виртуального NFS тома. Perlbal - система балансировки нагрузки на Perl, представленная на том же сайте. Отличный пример как нужно писать высокопроизводительные приложения на Perl.   GPFS - General Parallel File System [+] [обсудить]   Разработанная в недрах IBM кластерная файловая система для Linux и AIX, объединяющая в рамках одной ФС многотеррабайтное хранилище из отдельных кусочков, распределенным по нодам кластера. Присутствуют функции резервирования (одни данные продублированы на нескольких нодах) и автовосстановления.   PVFS - Parallel Virtual File System [+] [обсудить]   Распределенная файловая система, заменяющая NFS для кластера. Состоит из централизованного сервера метаданных и множества демонов ввода/вывода, непосредственно занимающихся отдачей и сохранением информации. Данные хранятся на специально отведенных нодах кластера, возможности резервирования пока отсутствуют.   GFS (Global File System) - open source, POSIX-compliant cluster file system (Версия: 0.1 от 2004-10-27) [+] [есть мнение]   Представленные под лицензией GPL кластерные решения от компании Red Hat. В частности файловая система GFS, ориентированная на обеспечение совместной работы всех машин кластера с единым хранилищем данных (одни и те же данные расшарены между всеми машинами кластера). GFS позволяет организовать надежную и высокопроизводительную сеть хранения данных, используя локальные диски машин в кластере, как составные элементы общей файловой системы. GFS поддерживает такие возможности как журналирование, списки управления доступом (ACL), возможность установки квот, прямой ввод/вывод, динамическое увеличении размера. В ближайшее время будет реализована поддержка зеркалирования и создание снапшотов, используя Cluster Logical Volume Manager (CLVM).   OpenAFS - distributed filesystem (распределенная файловая система) (Версия: 1.7.2 от 2011-11-22) [+] [обсудить]   Открытая реализация распределенной файловой системы AFS. Ключевыми моментами является независимость от места расположения клиента, прозрачная миграция, кэширование и резервирование данных. Все пользовательские файлы помещаются в единую для иерархию "/afs". Другие распределенные ФС: Arla - free AFS client and server implementation; InterMezzo - Главной особенностью InterMezzo является возможность работы с удаленными ресурсами, физический доступ к которым по сети отсутствует в данный момент (например ресурс на notebook'е). Работа производится в режиме синхронизации, т.е. соединение с сервером InterMezzo, синхронизация файлов с сервера на локальную систему (кэширование), работа с файлами в кэше, синхронизация на сервер. Обмен данными производится по протоколу HTTP. Coda - ФС с поддержкой автономной работы, берет начало от OpenAFS и является прородителем InterMezzo WebDAV - расширение HTTP для совместной работы с файлами на Web-серверах. Обзор распределенных FS   Lustre - novel storage and FS for very large clusters (Версия: 1.8.7 от 2011-12-24) [+] [обсудить]   Сетевая файловая система, предназначенная для использования в больших Linux кластерах (используется в кластерах из 10000 машин) для создания единой файловой системы огромного размера. Используется на многих самых производительных кластерах в мире. Лицензия GPL. Lustre FUSE - реализация в виде FUSE модуля (файловая система работающая на уровне пользовательского процесса), не требующего для своей работы модификации ядра и позволяющего использовать Lustre в системах отличных от Linux (например, под FreeBSD и MacOS X).   Drbd - block device to build high availability clusters (доп. ссылка 1) (Версия: 8.3.9 от 2010-10-24) [+] [обсудить]   Drbd позволяет создать общее для кластера зеркальное дисковое пространство, грубо говоря, RAID1 между накопителями на разных машинах в сети. Когда на одной машине производится запись на диск, drbd сразу синхронизирует эти данные на дисках других машин.   SFS - Self-certifying File System (Версия: 0.7.2 от 2004-10-29) [+] [обсудить]   Сетевая файловая система с функциями децентрализованного управления. Позволяет получить доступ к нужному ресурсу или предоставить свой ресурс для доступа из любой точки сети, т.е. запускаем процесс сервер на любой машине и получаем, пройдя аутентификацию, из любой точки сети доступ, без привязки к IP. Может использоваться вместо NFS для организации общего доступа к файлам.   NBD - Enhanced Network Block Device Linux Kernel Module [+] [обсудить]   Модуль реализующий экспорт файла или раздела диска с одной машины на другую, причем экспортированное дисковое пространство выглядит как обычное блочное устройство (например, /dev/hdb). Проще говоря, реализуется поддержка виртуальных дисковых разделов, физически расположенных на другой машине в сети. В итоге система прекрасно подходит для реализации RAID массива распределенного по сети. enbd - Enhanced Network Block Device for Linux; anbd - Another Network Block Device; nbd - Network Block Device (TCP version); drbd; NWD - network block device; nbdsrvr для Windows   Kimberlite - high-availability clustering solution for Linux (Версия: 2.0.0 от 2003-04-26) [+] [обсудить]   Система позволяющая подключить две linux машины к одному дисковому накопителю, подсоединенному к ним посредством SCSI bus.   ClusterNFS - set of patches for the "Universal NFS Daemon" (UNFSD) to allow multiple diskless clients to nfs mount the same root filesystem (Версия: 3.0-rc2 от 2001-11-28) [+] [обсудить]   Позволяет интерпретировать имя файла или директории в NFS пространстве в зависимости от хоста, IP адреса, UID или GID пользователя запросившего этот файл, т.е. сделать различным содержимое одного файла для разных пользователей.   CODA - Distributed File System (Версия: 6.0.8 от 2005-01-04) [+] [есть мнение]   Сетевая распределенная файловая система Coda поддерживает "disconnected operation" - опреации с файловой системы в условиях отсоединения от сети, например для мобильных устройств. Так же поддерживается репликации Coda серверов, кэширование операций на стороне клиента, гибкая система аутентификации и контроля доступа, поддержка шифрования передаваемых данных, возможность использования резервного сервера при отказе первичного, контроль пропускной способности.