форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
Сообщение от opennews on 18-Янв-15, 19:43
Представлен (http://www.lessfs.com/wordpress/?p=938) значительный релиз  Btier 2.0.0 (http://www.lessfs.com), модуля для ядра Linux, позволяющего формировать многоуровневые блочные устройства, состоящие из нескольких разнотипных устройств небольшого размера. Исходные тексты проекта распространяется (http://sourceforge.net/projects/tier/) под лицензией GPL. Версия Btier 2.0 примечательна переработкой внутренней архитектуры, позволившей добиться более высокой производительности. Обратной стороной изменения архитектуры стало прекращение поддержки VFS и возможности использования отдельных файлов в качестве элементов сводного хранилища. Повышены требования к используемым ядрам Linux, если Btier 1 мог работать с ядрами, начиная с 2.6.32, то Btier 2.0 ограничен только поддержкой последних выпусков ядра. Использование Btier позволяет достигнуть более высокой производительности по сравнению с другими методами ускорения доступа к данным через использование кэша на SSD-накопителях, благодаря применению дополнительной техники кэширования в оперативной памяти и оптимального разнесения блоков по дискам. В частности, для кэширования в ОЗУ применяются наработки, реализованные в RAM-диске EPRD (https://www.opennet.ru/opennews/art.shtml?num=33541), а при распределении данных по дискам учитывается статистика доступа к уже размещённым данным, например, принимается во внимание то, когда данные использовались последний раз и как часто они запрашивались. Для адаптации к меняющимся условиям работы системы, в Btier поддерживается автоматическая миграции данных между накопителями и обеспечивается "умная" балансировка размещения блоков данных на накопителях в зависимости от характера нагрузки. При наличии разных типов накопителей в пуле, отличающихся скоростными характеристиками, наиболее востребованные данные будут вытеснены на более быстрые накопители, такие как SSD или SAS НЖМД, а редко используемые данные будут размещены на медленных дисках. Таким образом, Btier позволяет сэкономить средства, используя SSD только для действительно востребованных данных, при том, что общая ёмкость всего быстрого хранилища в Btier составляет сумму из всех подключенных устройств хранения. Например, близкий аналог flashcache (https://www.opennet.ru/opennews/art.shtml?num=26440) может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как Btier максимально эффективно использует доступное пространство.   Для тонкого управления миграцией данных между накопителями и получении сведения о физическом размещении данных предусмотрен специальный API, изменение конфигурации может производиться через sysfs. В тестах производительности Btier продемонстрировал возможность передачи потоков в 1100 Мб/сек и обработки 210 тысяч случайных операций ввода/вывода в секунду. URL: http://www.lessfs.com/wordpress/?p=938 Новость: https://www.opennet.ru/opennews/art.shtml?num=41483
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
Сообщение от Бывший школьник on 18-Янв-15, 19:43
Шикарно. Когда будет готово для продакшена?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
Сообщение от Mike Lee on 18-Янв-15, 19:57
Разве lvm не это же делает?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	3. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+4 +/–
	Сообщение от Владимир (??) on 18-Янв-15, 20:16
	lvm позволяет объединить диски, но он не будет за вас делать кэши и переносить куда-то редко или частоиспользуемые данные
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	5. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–2 +/–
	Сообщение от sdog (ok) on 18-Янв-15, 20:53
	dm-cache, сэр!
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	16. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–1 +/–
	Сообщение от Аноним (??) on 19-Янв-15, 08:10
	угу. Только непонятно — то ли у кого-то опять nih-синдром, то ли они чем-то радикально отличаются
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	21. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
	Сообщение от Stax (ok) on 19-Янв-15, 14:32
	Ну они ставят фишку на то, что у них именно что добавляется объем, а не кэш тупо дублирует кусок обычных данных. http://tekinerd.com/wp-content/uploads/2010/11/cache-vs-tier...
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	17. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–1 +/–
	Сообщение от iZEN (ok) on 19-Янв-15, 10:34
	> Разве lvm не это же делает? Нет. Это делает ZFS с GEOM на FreeBSD.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	18. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–2 +/–
	Сообщение от Аноним (??) on 19-Янв-15, 10:41
	С plan9 содрали всё
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	23. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
	Сообщение от Андрей (??) on 19-Янв-15, 19:34
	А подробнее?
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

	22. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+1 +/–
	Сообщение от uniman (ok) on 19-Янв-15, 15:01
	>Нет. Это делает ZFS с GEOM на FreeBSD. Точне, geom concat EXAMPLES      The following example shows how to configure four disks for automatic      concatenation, create a file system on it, and mount it:            gconcat label -v data /dev/da0 /dev/da1 /dev/da2 /dev/da3            newfs /dev/concat/data            mount /dev/concat/data /mnt            [...]            umount /mnt            gconcat stop data            gconcat unload      Configure concatenated provider on one disk only.  Create file system.      Add two more disks and extend existing file system.            gconcat label data /dev/da0            newfs /dev/concat/data            gconcat label data /dev/da0 /dev/da1 /dev/da2            growfs /dev/concat/data HISTORY      The gconcat utility appeared in FreeBSD 5.3, 2004 ---- Модератор(ы) удаляют сообщения о возможностях BSD =) Свобода слова как она есть =)
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	25. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–1 +/–
	Сообщение от dsdf on 20-Янв-15, 03:48
	> Модератор(ы) удаляют сообщения о возможностях BSD =) > Свобода слова как она есть =) И чё ты там понаписакал? Как Бздя умеет кучковать диски? Так тема не об этом.
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	26. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–1 +/–
	Сообщение от uniman (ok) on 20-Янв-15, 04:29
	>> Модератор(ы) удаляют сообщения о возможностях BSD =) >> Свобода слова как она есть =) > И чё ты там понаписакал? Как Бздя умеет кучковать диски? Так тема > не об этом. 1 Да неужто? Расскажи это в любой теме, не касающейся Linux =) 2 А те не можешь без попытки унизить, деточка из совка? =) 3 Скажи спасибо, что дал тебе возможность расширить свой кругозор.
	Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

	27. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–1 +/–
	Сообщение от count0krsk (ok) on 20-Янв-15, 14:27
	Сколько злости )) Дышите глубже, все люди братья ;-) Bob_Marley-Jamming.mp3
	Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

	32. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–1 +/–
	Сообщение от Анониммм on 22-Янв-15, 01:49
	Я вот вижу грубость на грубость. Это конечно не оправдание, но ты то обратил внимание только на ответ и его осудил, а изначальный пост проигнорировал. А это называется "двойные стандарты". "Не суди да, несудим будешь" ©
	Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

4. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
Сообщение от YetAnotherOnanym (ok) on 18-Янв-15, 20:30
> возможности использования отдельных файлов в качестве элементов сводного хранилища. Это чё, значит, я могу нахватать на облачных сервисах халявные 1-2-5-10 гигабайт у каждого и слепить себе облачное хранилище эпического размера?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	6. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–5 +/–
	Сообщение от Петруччо on 18-Янв-15, 20:53
	Нет, у вас наверняка мозгов не хватит такое сделать. Да и не применимо это для удаленного сервера
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	7. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+1 +/–
	Сообщение от Аноним (??) on 18-Янв-15, 21:05
	Теоретически собрать RAID из ремотных серверов ничему как бы не противоречит. А те кто поумнее и размером с гугл - давно забили на эти абстракции и сделали себе распределенные сетевые ФС. Так что они и популярные данные поближе к пользователям могут перебазировать, в том числе и по мере востребованности, и место добавляют путем добавления еще эн серверов, и вылет 1 сервака всем индифферентен. Но это крутые штучные решения под нужды сильно нескольких контор.
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	14. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
	Сообщение от Аноним (??) on 19-Янв-15, 02:01
	> популярные данные поближе к пользователям могут перебазировать Ох зайди на ютуб и попробуй посмотреть видео которое полгода уже не кто не смотрел - это просто ад.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	13. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+1 +/–
	Сообщение от Chaser (??) on 19-Янв-15, 00:09
	Это уже можно сделать с помощью aufs3 или mhddfs. Я так давно себе завел несколько терабайтный хранилищ для шифрованных бэкапов на разных сервисах.
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	30. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
	Сообщение от sage (??) on 21-Янв-15, 11:40
	Использую aufs3 уже больше 3 лет для дисков, очень удобно. Этакий raid0 для бедных, только при выходе из строя одного диска теряются данные только на этом диске, а все остальное продолжает работать.
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

10. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–1 +/–
Сообщение от Crazy Alex (ok) on 18-Янв-15, 22:13
Работает мимо подсистем ядра - в топку
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
Сообщение от t28 on 18-Янв-15, 22:59
> через использование кэша :facepalm:
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+9 +/–
Сообщение от Какаянахренразница (ok) on 19-Янв-15, 06:39
<дебил mode on> И чё, можно сделать быструю файловую систему из старых флэшек, памяти видеокарты и CD-RW? <дебил mode off>
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	28. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+1 +/–
	Сообщение от count0krsk (ok) on 20-Янв-15, 14:34
	> <дебил mode on> > И чё, можно сделать быструю файловую систему из старых флэшек, памяти видеокарты > и CD-RW? > <дебил mode off> Я делал рэйд из 2х флэшек. Скорость скажу я Вам... Метров 20 в секунду. Не, быстрее в 1.5-2 раза, чем по-отдельности. Но даже чтобы угнаться за современным хдд надо столько юсб-портов... И уж поверьте человеку намучавшемуся с софтовыми и полу-софтовыми рэйдами на работе - не стоит оно того. CD-RW использовал раньше в режиме UDF вроде. Можно было файлы закидывать как на флэшку. Но после 10+ дописываний начинались глюки.
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

19. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
Сообщение от gaga (ok) on 19-Янв-15, 11:17
А что там в с надежностью? Заниматься такими вещами на, по сути, страйпе чревато. Т.е. надо в этот бтьер добавлять либо уже зеркалированные тома, либо зеркалировать диски бтьера. Получается сильно много слоев, не? Звучит так, как будто проще добавить функионал в zfs/btrfs.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	20. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–1 +/–
	Сообщение от клоун on 19-Янв-15, 12:04
	Это Линукс: во время очередного заседания в окружении сан. фаянса пришла в голову мысль, которая была реализована. В Линукс любое "а ведь можно сделать вот такую фигню" имеет название пакета в котором эту фигню уже сделали.
	Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

	29. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+2 +/–
	Сообщение от count0krsk (ok) on 20-Янв-15, 14:38
	> Это Линукс: во время очередного заседания в окружении сан. фаянса пришла в > голову мысль, которая была реализована. В Линукс любое "а ведь можно > сделать вот такую фигню" имеет название пакета в котором эту фигню > уже сделали. А в виндовс-мире всего 5 пакетов, в которых есть необходимый вам функционал, и ещё много другого, и стоит от 999$ до 5000$ за премиум-версию. Это как если тебе надо шлифануть доску напильником - предлагают взять в аренду (правом собственности на софт ты обладать не будешь) деревообрабатывающий завод.
	Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

	31. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+1 +/–
	Сообщение от Crazy Alex (ok) on 21-Янв-15, 20:54
	Видишь ли, клоун, Линукс - свободная и открытая система. В том числе это означает то, что любой желающий имеет все возможности, чтобы написать модуль для ядра, делающий что угодно. И, например, пользоваться самостоятельно или выложить у себя на странице. Пока нет вопроса о включении функционала в ядро - нет никаких проблем, какая бы санфаянсовая мысль ни была бы реализована. А ты "случайно" пропустил. что это сторонний модуль, в ядро не входящий. Впрочем, я не удивлён - идея "всё, что не наносит доказанного вреда другим, запрещено быть не должно" тебе чужда, тебе разрешение хозяина на всё нужно.
	Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

24. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	–2 +/–
Сообщение от Аноним (??) on 20-Янв-15, 01:14
Я не в курсе может быть чего-то, а почему не использовать VFS(FUSE)?  Это намного уджобнее и отладка проще? Зачем городить пользовательскую файловую систему на уровне ядра? Ладно еще там Fat и другие туда впиливают, но это-то зачем?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	33. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."	+/–
	Сообщение от dfcz (??) on 23-Янв-15, 09:13
	мб потому что это не файловая система?
	Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема