The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Объединение нескольких файловых систем средствами FUSE модуля mhddfs

29.04.2008 09:17

В материале представлен пример использования mhddfs, модуля файловой системы для FUSE, позволяющего объединить несколько обычных файловых систем в одну большую "виртуальную", которая будет содержать в себе не только все файлы объединённых ФС, но и всё их свободное место. Кроме того, в отличии от других подобных модулей, этот не ограничивает возможность записи на виртуальную объединённую ФС, а автоматически распределяет новые файлы по тем физическим дискам, где ещё есть свободное место.

  1. Главная ссылка к новости (http://rm.pp.ru/info/mhddfs...)
Автор новости: RM
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/15592-fuse
Ключевые слова: fuse, fs, disk, raid, linux
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (18) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, kapany3 (?), 10:09, 29/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А как со скоростью работы? На сколько падает производительность?
     
     
  • 2.3, rm (??), 10:30, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > На сколько падает производительность?

    Не тестировал, но на глаз - абсолютно не падает. При записи на виртуальную ФС в "top" видно три-четыре нитки процесса "mhddfs", каждая из которых грузит CPU на 0.5-1%.

     

  • 1.2, fresco (??), 10:15, 29/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Где код-то скачать можно? А то ссылки попадаются токана debian -- там она пропатченная, какой-то странной версии и вообще не вызывает доверия.
     
     
  • 2.4, rm (??), 10:32, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > Где код-то скачать можно? А то ссылки попадаются токана debian -- там она пропатченная, какой-то странной версии

    Автор лично мантайнит пакет для Debian, соотв-но там можно ожидать вполне актуальные и прямые исходники.

     
     
  • 3.5, fresco (??), 10:41, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Ага, принято
     

  • 1.6, rm (??), 10:56, 29/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    http://mhddfs.uvw.ru/
    только что случайно обнаружил в дебиановском Copyright-файле :D
    странно, что в описании пакета она не указана.
     
  • 1.7, автор mhddfs (?), 11:05, 29/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    спасибо за интерес к моей поделке :)

    >только что случайно обнаружил в дебиановском Copyright-файле :D
    >странно, что в описании пакета она не указана.

    да, раньше в Debian файл copyright и был (и остается) основным местом где надо url проекта располагать, это теперь добавили поля в файл debian/control.

    кстати то что урла там нет - бага, надо бы добавить :)

    >А как со скоростью работы? На сколько падает производительность?

    mhddfs пока хватает места на диске - просто транслирует запросы "вышестоящим" файловым системам, и до этих пор падения производительности не должно быть никакого.
    однако возможны ситуации (mhddfs "старается" в них попадать как можно реже), когда файл сперва писался на один носитель, потом там кончилось место и он перемещается на другой. вот это перемещение будет добавлено к времени записи очередного блока.

    на больших файлах возможно будет заметно, но я пока в дискомфортные ситуации не попадал


    PPS: кстати в FUSE есть бага с mmap/write. если кто планирует пускать на mhddfs (или на любой FUSE-системе) rtorrent, то придется обновить кернел до 2.6.25-mm

     
     
  • 2.9, Аноним (9), 15:40, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >mhddfs пока хватает места на диске - просто транслирует запросы "вышестоящим" файловым
    >системам, и до этих пор падения производительности не должно быть никакого.

    А как жи лишние контекст свичи? Хотя на больших блоках, думается, незаметно будет.
    График с разным размером блока чтения/записи напрямую/через mhddfs не помешал бы.

     
     
  • 3.10, автор mhddfs (?), 15:50, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А как жи лишние контекст свичи? Хотя на больших блоках, думается, незаметно
    >будет.

    они конечно есть, но по сравнению с собственно записью/чтением это мелочи.

    mhddfs я писал для домашнего сервера, а он у меня слабенький (Р500/128)
    сейчас примерно 1ТБ данных крутит, зеркала debian в локалку, фильмы итп
    и просадки производительности не увидел :)


    >График с разным размером блока чтения/записи напрямую/через mhddfs не помешал бы.

    а вот это если бы кто сделал, то было бы неплохо

    есть какая-то программа готовая которая умеет такую фигню изготавливать?

     
     
  • 4.11, iav (ok), 19:50, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Да, http://www.iozone.org/
     
     
  • 5.13, автор mhddfs (?), 12:24, 30/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    нифига не понял я в этом iozone

    там за каким-то фигом накручен какой-то мрачный exel-формат
    ума не приложу чем его открыть можно

     
     
  • 6.15, iav (ok), 19:25, 30/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Открыть его можно почти любой современной элетронной таблицей - KOffice, OpenOffice, GNUmeric.
    кроме того, если не указывать ключа, то он эти же данные валит не в эксел, а прямо в консоль.
     
  • 2.12, Аноним (9), 11:25, 30/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    а можно ли объединять ей несколько смонтированных по сети дисков? и если можно, что происходит если один из дисков становится недоступным?

     
     
  • 3.14, автор mhddfs (?), 12:36, 30/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >а можно ли объединять ей несколько смонтированных по сети дисков? и если
    >можно, что происходит если один из дисков становится недоступным?

    можно, но надо понимать что делаешь :)

    предположим у вас есть сетевой диск, что происходит когда какое-то приложение пытается на него записать но диск не доступен? будет делать ретраи или возвращать ошибки?

    mhddfs тут всего-лишь приложением выступает

     

  • 1.8, Demetrio (?), 11:35, 29/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это похоже на GPFS от IBM?
     
  • 1.16, Vitto74 (ok), 10:56, 06/06/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Примонтировал таким образом к /home два жестких диска в результате перестали сохранятся ключи пользователей и я подозреваю, что это не все сюрпризы.
    Ubuntu 10.04.
     
  • 1.17, adrianov (?), 18:47, 10/06/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Пробовал соединить таким образом несколько директорий, подмонтированных с помощью CIFS (Samba), скорость доступа упала разительно, по сравнению с каждой из них в отдельности.

    Тестировал с помощью
    dd if=/dev/zero of=test bs=1M count=100

    Скорость записи на каждую самба в отдельности была 10-12 Мб/с.
    На объединённую директорию - 2-3 Мб/с.

    Машина - PentiumD 3.4 GHz.

     
  • 1.18, Аноним (-), 00:41, 27/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    опробовал тест записи на объединенную из 3 винтов директорию и тест на подмонтированный винт. Падение в среднем 5% по сравнению с чистой записью на винт.
    После обновления FreeBSD на ядро 9.2 с 9.1 модуль работал, диски монтировались, можно было зайти по самбе, но при попытке натравить трансмиссию на объединеную директорию ядро падало в page fault. Помогла очистка от модуля, всех используемых им библиотек и перекомпиляция с нуля.

    Очень жду прозрачное освобождение винтов, в т.ч. в предбэдовом состоянии.

     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру