форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
Сообщение от opennews (ok) on 30-Апр-10, 13:22
Сервис Facebook уже не первый раз открывает свои наработки в области высокопроизводительных систем и Linux, на этот раз решено поделиться наработками в области ускорения (http://www.facebook.com/note.php?note_id=388112370932) работы сервера MySQL и других интенсивно взаимодействующих с диском приложений, за счет организации процесса прозрачного кэширования данных на быстрых SSD-накопителях. Как известно, если у движка хранилища данных InnoDB рабочий набор данных не умещается в пуле кэша, тогда отзывчивость (latency) операций чтения сильно ухудшается. Эту проблему можно решить, если расположить рабочий набор данных на более быстром носителе информации, например, на SSD дисках. Модуль Flashcache (http://github.com/facebook/flashcache), созданный инженерами Facebook, занимается именно этой задачей - он работает как универсальных механизм кэширования для любого приложения, работающего с блочным устройством. Также Flashcache увеличивает (http://github.com/facebook/flashcache/blob/ma... URL: http://www.facebook.com/note.php?note_id=388112370932 Новость: https://www.opennet.ru/opennews/art.shtml?num=26440
Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
Сообщение от sluge (ok) on 30-Апр-10, 13:22
интересно, насколько эта фишка увеличивает производительность
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Facebook открыл модуль Flashcache для организации кэшировани..."		–2 +/–
Сообщение от Анонимуз on 30-Апр-10, 13:32
У линукса будет свой ReadyBoost, с блэкджеком и прочей атрибутикой?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
Сообщение от Евгений Ваганович on 30-Апр-10, 13:43
Учитывая ограниченное число перезаписей на ssd - винты нужно будет менять минимум раз в год, а то и чаще. В итоге имеем с ssd - 1. необходимость часто менять винты 2. если случайно затянуть с п.1, то получим потерю данных 3. если пропадет питание - то получим потерю данных Зато нужно меньше оперативы В итоге, скорее всего фейсбуковцы решили выкинуть "недоношенную" технологию в "массы" с надежной что кто нить это допилит - и тогда это можно будет массово использовать
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	4. "Facebook открыл модуль Flashcache для организации кэшировани..."		–2 +/–
	Сообщение от bart on 30-Апр-10, 13:55
	Где то видел расчет про долговечность ssd винтов и окозалось что живут они не меньше чем hdd
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	7. "Facebook открыл модуль Flashcache для организации кэшировани..."		+1 +/–
	Сообщение от Имени нету on 30-Апр-10, 14:33
	Рассчёт, не есть провереная временем практика. Теоретики как всегда такие теоретики....
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	9. "Facebook открыл модуль Flashcache для организации кэшировани..."		+2 +/–
	Сообщение от hhg (ok) on 30-Апр-10, 14:49
	так это всё время приводятся расчёты для ненагруженной бытовой системы, где мало пишется и много читается.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	17. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от pro100master (ok) on 30-Апр-10, 19:03
	и даже в этом случае рекомендуется выключать обновления времени доступа к файлам и совмещать записи в таблицы ФС. И это не смотря на то, что контроллеры меньше чем 128к (обычно 256-512к) писать не будут.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	42. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от User294 (ok) on 02-Май-10, 20:38
	Ну так фэйсбуковцы вроде ж и предлагают кешить нагрузку где в основном чтение?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	5. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от Зашифрованный on 30-Апр-10, 14:09
	Зависит модели у некоторых 5млн циклов.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	8. "Facebook открыл модуль Flashcache для организации кэшировани..."		+1 +/–
	Сообщение от sluge (ok) on 30-Апр-10, 14:37
	уж фейсбук то найдет бабки на винты я думаю
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	26. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от Евгений Ваганович on 01-Май-10, 05:05
	у фейсбука порядка 50 000 - 100 000 серверов и впиливание сырого решения с закупкой по паре ssd на сервер влетит в копеечку - это тебе не уровень г@внохостинга, которы обслуживает пару тысяч клиентов с сотней серверов
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	29. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 01-Май-10, 05:50
	>у фейсбука порядка 50 000 - 100 000 серверов и впиливание сырого >решения с закупкой по паре ssd на сервер влетит в копеечку >- это тебе не уровень г@внохостинга, которы обслуживает пару тысяч клиентов >с сотней серверов SAN рулит?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	21. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 30-Апр-10, 23:21
	>2. если случайно затянуть с п.1, то получим потерю данных Кто-то отменил raid-массивы и hotspare? >1. необходимость часто менять винты Это да, но при определенном бюджете проекта может быть вполне выгодным решением... >3. если пропадет питание - то получим потерю данных К сожалению, будем надеятся, исправят, так как решение интересное(имхо)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	27. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от Евгений Ваганович on 01-Май-10, 05:11
	>>2. если случайно затянуть с п.1, то получим потерю данных > >Кто-то отменил raid-массивы и hotspare? учитывая время доступа к ssd, рейд контроллер, который сохранит данные характеристики, будет очень недешев для ssd - и в итоге мы вместо одного винта покупаем 2, да еще и рейд контроллер, который будет стоит явно не меньше этих ssd - и тут возникает вопрос - а может лучше переплатить раза в 2 и доставить оперативы, чем применять сырую технологию, да еще и недешевую? так что очень навряд ли кто то будет юзать рейды в данных схемах с ssd
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	28. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 01-Май-10, 05:23
	>[оверквотинг удален] >> >>Кто-то отменил raid-массивы и hotspare? > >учитывая время доступа к ssd, рейд контроллер, который сохранит данные характеристики, будет >очень недешев для ssd - и в итоге мы вместо одного >винта покупаем 2, да еще и рейд контроллер, который будет стоит >явно не меньше этих ssd - и тут возникает вопрос - >а может лучше переплатить раза в 2 и доставить оперативы, чем >применять сырую технологию, да еще и недешевую? так что очень навряд >ли кто то будет юзать рейды в данных схемах с ssd Лол, ssd+mdraid вполне жизнеспособная конфигурация на _зеркале_(если жесткий сброс, одна половинка просто засинкается о другую, кэш записи с BBU не нужны), и используется во многих нагруженных проектах, бюджет которых, вероятно, превышает месячную зарплату большей части отметившихся в этой теме. А еще, SAN с SSD это уже реальность почти у всех вендоров.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	30. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от Anon Y Mous on 01-Май-10, 18:21
	> Лол, ssd+mdraid вполне жизнеспособная конфигурация на _зеркале_(если жесткий сброс, одна половинка просто засинкается о другую, кэш записи с BBU не нужны) А как определить, на какой половинке целостные данные, а на какой нет, чтобы выяснить, какую половинку засинкивать о другую?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	31. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 01-Май-10, 18:30
	>> Лол, ssd+mdraid вполне жизнеспособная конфигурация на _зеркале_(если жесткий сброс, одна половинка просто засинкается о другую, кэш записи с BBU не нужны) > >А как определить, на какой половинке целостные данные, а на какой нет, >чтобы выяснить, какую половинку засинкивать о другую? Никак, как и в hardware зеркале. Рейд не панацея в вопросе сохранности данных(эту роль могут выполнять только бэкапы), а средство добавления девяток после запятой в стабильность сервиса. Тот же пятый вообще русская рулетка, 6-ой безумно тормозной, десятка принципиально ни чем не лучше в вопросах надежности, чем зеркало. raid-z не такой быстрый(в сравнении с raid10), как бы это не хотелось кучи местных фанатиков. рулит (имхо) только 60 в SAN, и то, с оговорками (по стоимости инвестиций и места, прежде всего) Но в реальной ситуации, обычно, тот же md, gmirror, или любой аппаратный контроллер без проблем выкинет битый диск, при ошибке ввода-вывода
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	32. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 01-Май-10, 19:59
	>raid-z не такой быстрый(в сравнении с raid10), как бы это не хотелось >кучи местных фанатиков. *куче, сорри
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	33. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от Anon Y Mous on 01-Май-10, 20:31
	> Никак, как и в hardware зеркале. То есть решение получается нежизнеспособное, если даже способа определить, какой диск с другим синхронизировать нету? > Рейд не панацея в вопросе сохранности данных Речь не о сохранности, а о целостности данных, или, если угодно, о непротиворечивости содержимого подзеркал. > raid-z не такой быстрый(в сравнении с raid10), как бы это не хотелось кучи местных фанатиков. Да ну? Неужели во всех случаях? > Но в реальной ситуации, обычно, тот же md, gmirror, или любой аппаратный контроллер без проблем выкинет битый диск, при ошибке ввода-вывода А если нет ошибки ввода-вывода, а данные между подзеракалами различаются, что будут делать md, gmirror или аппаратный контроллер?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	34. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 01-Май-10, 20:53
	>[оверквотинг удален] > >То есть решение получается нежизнеспособное, если даже способа определить, какой диск с >другим синхронизировать нету? > >> Рейд не панацея в вопросе сохранности данных > >Речь не о сохранности, а о целостности данных, или, если угодно, о >непротиворечивости содержимого подзеркал. >А если нет ошибки ввода-вывода, а данные между подзеракалами различаются, что будут >делать md, gmirror или аппаратный контроллер? Если данные оказались испорчены (и нет ошибки ввода-вывода), то raid1 средствами аппаратного контроллера, md, или geom уже без разницы: данные неконсистентны, и вариант только один, восстановление из бэкапов. Если жесткий сброс по питанию, софт-зеркало поднимется после синка одной половинки о другую, аппаратный контроллер же запишет консистентные данные из кэша. Разница только в том, что софт-зеркало какое-то время потормозит (по моей практике SAS/SCSI софт-зеркала синкаются за 20-30 минут) Если же совпадут события неконсистентных данных на любой из половинок зеркала, и сброс по питанию, то данным, вне зависимости от наличия кэша защищенного батарейкой, в любом случае каюк (ситуация идентична первой) Пятый рейд, например, имеет контроль четности, но сейчас(на текущих объемах дисков) его использование лотерея, так как во время синка рейда, после замены диска, запросто может вывалиться еще один диск. Настоящую надежность может дать только 6/60, + интересные технологии есть в raid-z Что бы избежать случая неконсистентности данных, нужно обязательно ставить в крон (на любом типе raid, некоторые аппаратные контроллеры это делают сами) cli-команду для переодической проверки консистентности и наличия bad-секторов, пока raid избыточен, в зеркале будет выкинута битая половина, при наличии бэд-сектора, а в рейдах с проверкой четности, исправлена ошибка, при ее наличии >> raid-z не такой быстрый(в сравнении с raid10), как бы это не хотелось кучи местных фанатиков. > >Да ну? Неужели во всех случаях? Главная проблема zfs то, то она не параллельная, и тем более не кластерная, как, впрочем, и btrfs, поэтому device-mapper(впрочем, btrfs его и не перечеркивает) и geom в обозримом будущем никуда не денутся, а для geom для фряхи нужен аналог параллельной фс (для ряда на самом деле распространенных задач вроде HA-кластеров под web)вроде gfs/ocfs, надеюсь, коммюнити что-то такое таки родит.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	35. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 01-Май-10, 20:58
	>>[оверквотинг удален] >> >>То есть решение получается нежизнеспособное, если даже способа определить, какой диск с З.Ы. Это все лирика, и в любом случае, в реальной ситуации mirror и пятый рейд на порядки надежнее, чем одиночный диск любого типа, но пятого рейда лучше либо избегать, либо хорошо бэкапить, так как риск развала во время синка действительно существеннен З.З.Ы. забавляет, как фанатики носятся с проверкой четности _данных_ на файловой системе, но при этом используют PC-систему без ECC памяти, часто откровенно кривой и несертифицированный софт, написанный на пых-пыхе студентом без какого-то адекватного коммюнити, но зато сверху "православной" ZFS, а бэкапы у нас на соседний диск, который сгорает вместе с ДЦ hosting.ua :)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	36. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от Anon Y Mous on 01-Май-10, 21:35
	> Если жесткий сброс по питанию, софт-зеркало поднимется после синка одной половинки о другую Остается открытым вопрос, какую половину выбрать в качестве источника данных для синхронизации > а в рейдах с проверкой четности, исправлена ошибка, при ее наличии Каким образом? Предположим, что при проверке четности полоски RAID была обнаружена ошибка этой самой четности. Как определить, какой из дисков нужно исправлять? > Главная проблема zfs то, то она не параллельная, и тем более не кластерная Вопрос был более локального характера - о скорости RAID-Z и о том, насколько он подходит для разных классов задач. А не о том, что ZFS - локальная файловая система. RAID-Z действительно может быть тем еще тормозом на определенных задачах, и показывать более чем приличную производительность и стоимость хранения на других. Каких, знаете?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	37. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 01-Май-10, 21:44
	>> Если жесткий сброс по питанию, софт-зеркало поднимется после синка одной половинки о другую > >Остается открытым вопрос, какую половину выбрать в качестве источника данных для синхронизации Если диски не битые, то без разницы: на один диск последний флэш был на одну секунду раньше, а на другой на одну секунду позже, и что? Все равно при сбросе питания рабочие данные в приложениях были утеряны(велика ли разница, на одну секунду туда, или сюда?), если ФС сверху журналируемая, ничего плохого не произойдет. То же и в случае с innodb/postgre/и пр. бд с журналами. В UFS без всяких журналов(через geom) и myisam можно в любом случае получить проблемы, вне зависимости от наличия BBU В общем, тезис: bbu для зеркала не нужен(нет, конечно кто-то может не желать ждать на тех же SATA под нагрузкой 5-6 часов, пока оно досинкается, в этом случае BBU оправдано, но вообще это не нормально, если сервер часто сбрасывается по питанию), и вообще зеркало рулит (на ряде задач, если не толкать его фанатично в каждую дырку, как это делают фанатики с zfs) Напомню, что в данном конкретном треде обсуждалась оправданность применения софтового зеркала из ssd-дисков, я последовательно пояснила, почему это можно делать (надеюсь, кому-то помогла) >> а в рейдах с проверкой четности, исправлена ошибка, при ее наличии > >Каким образом? Предположим, что при проверке четности полоски RAID была обнаружена ошибка >этой самой четности. Как определить, какой из дисков нужно исправлять? Извините, я уже и так достаточно много рассказала, чего Вы, по всей видимости, не знали(должно быть стыдно, так как азы :)) ). Предлагаю RFTM по тем же redbook, там Все есть. Судя по Вашим комментариям на форуме, Вы совсем не новичек, и без проблем сможете прочитать сами документацию по любому hw контроллеру :) >> Главная проблема zfs то, то она не параллельная, и тем более не кластерная > >Вопрос был более локального характера - о скорости RAID-Z и о том, >насколько он подходит для разных классов задач. А не о том, >что ZFS - локальная файловая система. RAID-Z действительно может быть тем >еще тормозом на определенных задачах, и показывать более чем приличную производительность >и стоимость хранения на других. Каких, знаете? Не поняла вопроса :) а по производительности, raid10 в ряде случаев просто безальтернативен(особенно при интенсивном i/o на запись в четырехшпиндельных серверах), а его zfs предложить не может (в отличае от md или geom), но 10-ку использовать без bbu можно только на некритичных задачах (думаю, очевидно почему), поэтому raid10 через geom/md это совсем low end, когда _нужно_ быстро, а денег нет совсем. Но по-нормальному, на этой задаче нужен аппаратный контроллер с bbu При большом же числе шпинделей весь мир закупается СХД :)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	38. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от Anon Y Mous on 02-Май-10, 00:26
	> Если диски не битые, то без разницы Ну почему же: на одном могут быть правильные данные, на другом - нет, так что разница есть - в одном случае вы исправите плохую копию и восстановите избыточность, в другом - уничтожите последнюю хорошую. > если ФС сверху журналируемая, ничего плохого не произойдет см. пример выше; вдруг это произойдет для блока журнала? > и вообще зеркало рулит (на ряде задач, если не толкать его фанатично в каждую дырку, как это делают фанатики с zfs) Зеркало действительно неплохой вариант во многих случаях, а зеркало в его реализации в ZFS - неплохой вдвойне, и вовсе не потому, что с ним носятся фанатики. > Извините, я уже и так достаточно много рассказала, чего Вы, по всей видимости, не знали(должно быть стыдно, так как азы :)) ). А вы забавная. Я ведь даже не просил все это рассказывать - все это расписано в документации, книжках и так далее. Я всего лишь задавал вопросы, рассчитывая, что они заставят вас задуматься. Видимо, пока не заставили. > Не поняла вопроса :) У RAID-Z есть особенность, которая делает его не очень пригодным для нагрузок с определенными свойствами (даже в сравнении с RAID-5 и аналогами из того же количества дисков). Знаете какими? > а по производительности, raid10 в ряде случаев просто безальтернативен(особенно при интенсивном i/o на запись в четырехшпиндельных серверах), а его zfs предложить не может (в отличае от md или geom) Строго говоря, вы правы - ZFS не предоставляет прямого аналога RAID-0, то есть механизма строго детерминированного распределения блоков данных по блокам дисков, входящих в RAID-0. Однако на уровне пула ZFS осуществляет динамическое чередование своих логических блоков по устройствам верхнего уровня в пуле. То есть пул, состоящих из двух зеркал можно с некоторой натяжкой называть аналогом RAID 1+0. > но 10-ку использовать без bbu можно только на некритичных задачах (думаю, очевидно почему), поэтому raid10 через geom/md это совсем low end, когда _нужно_ быстро, а денег нет совсем. > Но по-нормальному, на этой задаче нужен аппаратный контроллер с bbu BBU - это тоже не панацея. BBU имеют свойство выходить из строя в самый неподходящий момент, требуют периодического обслуживания и замены, позволяют сохранять содержимое кэша в течение ограниченного времени, привязывают к определенной модели или определенному производителю контроллера. Некоторых это заставляет покупать по два контроллера и один класть в стол (что не помогает сохранению собственно BBU). И эти минусы могут перевесить плюсы даже не в low-end решениях. Хотя надо признать, что это достаточно распространенные и во многом понятные решения.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	39. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 02-Май-10, 00:47
	>> Если диски не битые, то без разницы > >Ну почему же: на одном могут быть правильные данные, на другом - >нет, так что разница есть - в одном случае вы исправите >плохую копию и восстановите избыточность, в другом - уничтожите последнюю хорошую. > > >> если ФС сверху журналируемая, ничего плохого не произойдет > >см. пример выше; вдруг это произойдет для блока журнала? Не бывает плохих или хороших данных для зеркала. Зеркало вообще не проверяет консистентность блоков данных и метаданных! Если метаданные различаются, рейд ресинкается, и все (других вариантов нет) Вы в любой момент можете изъять из зеркала любую из его половин, и ничего не потеряете, так как на обе половины консистентны. Более того, на другая половина так же консистентна :) "Правильные данные" и зеркало это совершенно перепендикулярные понятия, оно вообще не проверяет блоки между дисками на консистентность. В любой момент(после жесткого сброса) можно засинкать любую из половин о другую, и ничего не потерять. Именно по этой причине нет никаких веских причин не использовать софт-зеркала в отственных проектах (в отличае от 5/10/6 и т д) Наличие же битых секторов на диске, с которого идет синк, это уже упущение системного администратора: нужно было ставить в крон регулярный чек. При исправности же носителей, нет никакой разницы с какого из дисков синкать данные, и понятие "правильности" диска просто не применимо и оторвано от реальной практики, и является демагогией. >> Извините, я уже и так достаточно много рассказала, чего Вы, по всей видимости, не знали(должно быть стыдно, так как азы :)) ). > >А вы забавная. Я ведь даже не просил все это рассказывать - >все это расписано в документации, книжках и так далее. Я всего >лишь задавал вопросы, рассчитывая, что они заставят вас задуматься. Видимо, пока >не заставили. Вас тоже :) Вы не понимаете, как работает софт-зеркала(и hardware), и не понимаете, что чексуммы данных, имеющиеся в zfs, это не панацея на любой случай в жизни (а в ряде случаев, особенно на плохом оборудовании вроде "серверов" без ECC памяти(на которые так часто в бюджетных ДЦ ставят фрю) откровенно бесполезная фича, так как из ОЗУ могут попасть уже битые, но с точки зрения ФС консистентные данные - но не приложения!) Стоит так же вспомнить про многочисленные баги, которые есть в любых приложениях, сбоях даже при ECC памяти при перегреве, например, сервера, и т д. То есть, нет технической возможности в 100% случаев обеспечить на дисках именно то, что мы рассчитываем там увидеть. zfs интересное решение, но надоели, если честно, носится с ним как с писанной торбой, у нее достаточно узкая область применимости и существенные недостатки, прежде всего по ресурсоемкости >[оверквотинг удален] >того же количества дисков). Знаете какими? > >> а по производительности, raid10 в ряде случаев просто безальтернативен(особенно при интенсивном i/o на запись в четырехшпиндельных серверах), а его zfs предложить не может (в отличае от md или geom) > >Строго говоря, вы правы - ZFS не предоставляет прямого аналога RAID-0, то >есть механизма строго детерминированного распределения блоков данных по блокам дисков, входящих >в RAID-0. Однако на уровне пула ZFS осуществляет динамическое чередование своих >логических блоков по устройствам верхнего уровня в пуле. То есть пул, >состоящих из двух зеркал можно с некоторой натяжкой называть аналогом RAID >1+0. Попробуйте рассказать, но не думаю, что человек, не понимающий как работает зеркало, может рассказать что-то новое. Уверяю Вас, про zfs я читала, ставила Solaris что бы посмотреть, и обдумываю о вариантах использования в том числе с фрей под узкую задачу - файлопомойки (так как в остальных случаях lvm и clvm мне кажутся гораздо мощнее и приспособленнее к реальным условиям и требованиям) >> но 10-ку использовать без bbu можно только на некритичных задачах (думаю, очевидно почему), поэтому raid10 через geom/md это совсем low end, когда _нужно_ быстро, а денег нет совсем. >> Но по-нормальному, на этой задаче нужен аппаратный контроллер с bbu > >BBU - это тоже не панацея. BBU имеют свойство выходить из строя >в самый неподходящий момент, требуют периодического обслуживания и замены, позволяют сохранять >содержимое кэша в течение ограниченного времени, привязывают к определенной модели или >определенному производителю контроллера. Некоторых это заставляет покупать по два контроллера и >один класть в стол (что не помогает сохранению собственно BBU). И >эти минусы могут перевесить плюсы даже не в low-end решениях. Хотя >надо признать, что это достаточно распространенные и во многом понятные решения. bbu без проблем мониторится(тот, кто не использует что-то вроде Nagios или Zabbix, и т д, имхо, сам себе клинический идиот) :) Кстати, уже есть контроллеры без BBU, но с флэш-памятью. Я думала, тут вы запоете в очередной раз песню про чексуммы данных в zfs, и то, то hw-контроллеры не проверяют непосредственно данные, а только блоки данных в raid5/6, но, похоже, Вы про это не знали :)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	40. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от Anon Y Mous on 02-Май-10, 01:17
	> Я думала, тут вы запоете в очередной раз песню про чексуммы данных в zfs, и то, то hw-контроллеры не проверяют непосредственно данные, а только блоки данных в raid5/6, но, похоже, Вы про это не знали :) С вами все ясно. Задуматься вы не задумались, а вместо этого начали скатываться в направлении "сам дурак", поэтому продолжать с вами дискуссию не вижу смысла
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	41. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 02-Май-10, 01:38
	>> Я думала, тут вы запоете в очередной раз песню про чексуммы данных в zfs, и то, то hw-контроллеры не проверяют непосредственно данные, а только блоки данных в raid5/6, но, похоже, Вы про это не знали :) > >С вами все ясно. Задуматься вы не задумались, а вместо этого начали >скатываться в направлении "сам дурак", поэтому продолжать с вами дискуссию не >вижу смысла А задумывались ли Вы так ли хороша и универсальна zfs, как Вы пытаетесь показать всем в каждой теме(по-моему, большинство дисскуссий в которых Вы учавствуете, касаются ZFS)? Погуглив по Вашим ответам заранее, мне было с самого начала понятно, что Вы работаете на публику. Если бы Вы погуглили по моим ответам на этом форуме, могли бы заметить, что с моей стороны всегда вызывает острое неприятие, и даже контр-агрессию желание собеседника навязать некую "супер-бупер" технологию(даже если я ее уже использую, и кому-то рекомендую) в качестве некоего универсального "филосовского камня", который решит все мои жизненные проблемы, и проблемы остальных собеседников :) Во всех таких случаях я всегда показываю такому собеседнику на недостатки боготворимого им решения, и объясняю, почему "невероятные" фичи в его решении (те же чексуммы в zfs) очень часто совершенно бесполезны. Извинте, но я не ждала от Вас самого начала конструктива :( Вы не фанатик, как, например, iZen, видите сами недостатки, но увлеченный человек (как и я, впрочем): мы все тут немного красноглазые  :) Я могу извиниться за резкость своих суждений, и переход на личности(в этом я точно была не права) но я не уверена, что Вы действительно можете рассказать что-то новое по сабжу, кроме того, что уже сто раз обмусолено.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Facebook открыл модуль Flashcache для организации кэшировани..."		+1 +/–
Сообщение от Аноним (??) on 30-Апр-10, 14:14
http://leaf.dragonflybsd.org/cgi/web-man?command=swapcache&s...
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
Сообщение от cvsup (ok) on 30-Апр-10, 15:12
К слову, Paul Saab, автор заметки на главной ссылке - ключевой разработчик FreeBSD в прошлом (ps@freebsd.org). Там же работал(-ет) Jasone Evance - автор jemalloc.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	12. "Facebook открыл модуль Flashcache для организации кэшировани..."		–1 +/–
	Сообщение от birdie on 30-Апр-10, 16:28
	Народ уходит из FreeBSD? Впрочем, на энтузиазме сейчас в open source мало кто работает. Единственно, что мне жутко не хватает в Линукс - это jail, хотя и FreeBSD'ный не самый идеальный вариант. Например, в jail надо закидывать все библиотеки, требуемые для запуска приложения, которое там работает, а было бы неплохо сделать виртуальную FS по типу CoW, чтобы в jail физически находились только изменённые библиотеки (если они вообще там будут изменятся ну или для совместимости лежать древние их версии).
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	13. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от Одмин on 30-Апр-10, 16:36
	Ну там есть файлуха с COW, забыл как называется. В linux есть linux containers, там даже модно ограничивать по памяти, cpu, засовывать внутрь отдельный айпишник и прописывать отдельные роутинги :). Увы, на уровне дистров поддержки нет(если в libvirt, но я не тестил) :(.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	19. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от бедный буратино on 30-Апр-10, 19:07
	>Ну там есть файлуха с COW, забыл как называется. В linux есть >linux containers, там даже модно ограничивать по памяти, cpu, засовывать внутрь >отдельный айпишник и прописывать отдельные роутинги :). Увы, на уровне дистров >поддержки нет(если в libvirt, но я не тестил) :(. lxc уже давно в ядре. Это в каких дистрибутивах нет поддержки lxc? Или libvirt?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	15. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от RedRat (ok) on 30-Апр-10, 16:49
	man mount_unionfs
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	16. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от cvsup (ok) on 30-Апр-10, 17:35
	Нет, скорее это говорит о квалификации разработчиков :p Эти люди всегда были и есть в Facebook, Yahoo!, Juniper и тому подобных конторах. FreeBSD - это не работа, а скорее образ жизни.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	18. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от бедный буратино on 30-Апр-10, 19:04
	А чем не устраивает Linux Containers (LXC), которая именно так и работает - и как jail, и можно библиотеки не закидывать?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	22. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 30-Апр-10, 23:26
	>[оверквотинг удален] >кто работает. > >Единственно, что мне жутко не хватает в Линукс - это jail, хотя >и FreeBSD'ный не самый идеальный вариант. > >Например, в jail надо закидывать все библиотеки, требуемые для запуска приложения, которое >там работает, а было бы неплохо сделать виртуальную FS по типу >CoW, чтобы в jail физически находились только изменённые библиотеки (если они >вообще там будут изменятся ну или для совместимости лежать древние их >версии). Советую проснуться, ситуация Jails vs другие контейнеры изменилась кучу лет назад: а) отсуствие в апстриме (kernel.org) не означает отсутствие поддерживаемого решения (коммерчески или поддерживаемого коммюнити), и вообще мало какой дистрибутив использует ванильный кёрнель без своих патчей б) как уже сказали, есть LXC (имхо, еще сырой), есть OVZ(имхо, сейчас самый адекватный выбор, но нет аналога cow/vzfs), есть PVC (память/место шарятся через vzfs, но проприетарный и стоит денег)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	24. "Facebook открыл модуль Flashcache для организации кэшировани..."		+1 +/–
	Сообщение от marten (??) on 01-Май-10, 01:32
	есть openvz. вполне себе перекрывает функционал jail
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	25. "Facebook открыл модуль Flashcache для организации кэшировани..."		+1 +/–
	Сообщение от sHaggY_caT (ok) on 01-Май-10, 01:59
	>есть openvz. вполне себе перекрывает функционал jail Причем перекрывает уже пол-десятка лет :)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	43. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от User294 (ok) on 02-Май-10, 22:52
	>Единственно, что мне жутко не хватает в Линукс - это jail, Странно, учитывая что openvz сделали явно не вчера. Может быть, ручник стоит отпускать побыстрее? oO
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

20. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
Сообщение от Терминус on 30-Апр-10, 21:06
я только хотел попробовать студенческое поделие dm-cache http://users.cis.fiu.edu/~zhaom/dmcache/index.html с отличным IBM Research Report от автора http://domino.research.ibm.com/library/cyberdig.nsf/papers/B.../$File/rc24123.pdf как вдруг появился flashcache кстати у пользователей ZFS кеширование на более быстрых носителях уже давно есть http://blogs.sun.com/brendan/entry/test
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	23. "Facebook открыл модуль Flashcache для организации кэшировани..."		+/–
	Сообщение от sHaggY_caT (ok) on 30-Апр-10, 23:35
	>кстати у пользователей ZFS кеширование на >более быстрых носителях уже давно есть >http://blogs.sun.com/brendan/entry/test Кстати, да, интересно :)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема