форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[ Отслеживать ]

"FreeBSD ZFS"		+/–
Сообщение от sweer (??) on 09-Ноя-09, 14:23
Приветствую. FreeBSD 8.0 RC2 Архитекрута AMD64 Версия пула 13 Проблема - невероятно низкая скорость записи zpool iostat 10                capacity     operations    bandwidth pool         used  avail   read  write   read  write ----------  -----  -----  -----  -----  -----  ----- DSP         15.8T   492G    199     40  6.44M  1.16M ------- /boot/loader.conf isp_load="YES" isp_2400_load="YES" kern.maxusers=2048 zfs_load="YES" #vm.kmem_size_max="999M" / не загружается при этих параметрах вообще #vm.kmem_size="999M" #vfs.zfs.arc_max="448M" #vfs.zfs.prefetch_disable=1 #vfs.zfs.zil_disable=1 #vfs.zfs.cache_flush_disable=1 vm.kmem_size_max="1024M" vm.kmem_size="1024M" vfs.zfs.arc_max="100M" ---- Подскажите советом.
Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "FreeBSD ZFS"		+/–
Сообщение от QuAzI (ok) on 09-Ноя-09, 18:25
>> не загружается при этих параметрах вообще Вроде как настраивать память реально нужно только на i386, а у вас если процессор и ядро 64-битное, хватит и zfs_load="YES" zpool iostat выводит информацию о текущей нагрузке. Т.е. если ничего не писать, он и по нулям bandwidth выдаёт. RTFM
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	2. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 09-Ноя-09, 18:27
	>>> не загружается при этих параметрах вообще > >Вроде как настраивать память реально нужно только на i386, а у вас >если процессор и ядро 64-битное, хватит и zfs_load="YES" >zpool iostat выводит информацию о текущей нагрузке. Т.е. если ничего не писать, >он и по нулям bandwidth выдаёт. RTFM zpool iostat делаю во время dd. Тюнинг делал по http://wiki.freebsd.org/ZFSTuningGuide. Без параметров работа остается такой же.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	3. "FreeBSD ZFS"		+/–
	Сообщение от Dorlas (??) on 09-Ноя-09, 18:34
	>zpool iostat делаю во время dd. >Тюнинг делал по http://wiki.freebsd.org/ZFSTuningGuide. Без параметров работа остается такой же. Сколько у Вас ОЗУ ? Если меньше 8 Гб - отключайте prefetch - остальные параметры действительно в тюнинге не нуждаются (у меня системы на 1,2 и 4 Гб стоят в строю - все ОК). Еще приведите top при низкой скорости записи. Ну и неплохо узнать, сколько ОЗУ кушает ZFS на текущий момент - был скриптик на wiki.freebsd.org/ZFSTuningGuide.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 09-Ноя-09, 18:50
	>[оверквотинг удален] >Сколько у Вас ОЗУ ? > >Если меньше 8 Гб - отключайте prefetch - остальные параметры действительно в >тюнинге не нуждаются (у меня системы на 1,2 и 4 Гб >стоят в строю - все ОК). > >Еще приведите top при низкой скорости записи. > >Ну и неплохо узнать, сколько ОЗУ кушает ZFS на текущий момент - >был скриптик на wiki.freebsd.org/ZFSTuningGuide. У меня архитектура AMD64, на вики сказано что FreeBSD 7.2+ has improved kernel memory allocation strategy and no tuning may be necessary on systems with more than 2 GB of RAM. -------------- ОЗУ Prefetch выключу при следующей перезагрузке (к сожалению сейчас возможности перезагрузить нет) --------------- Что именно в выводу топа нужно? --------------- Вот вывод скриптика: TEXT=15484192, 14.7669 MB DATA=3466345472, 3305.76 MB TOTAL=3481829664, 3320.53 MB
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	8. "FreeBSD ZFS"		+/–
	Сообщение от Dorlas (??) on 09-Ноя-09, 19:53
	>У меня архитектура AMD64, на вики сказано что FreeBSD 7.2+ has improved >kernel memory allocation strategy and no tuning may be necessary on >systems with more than 2 GB of RAM. У меня тоже...везде, где ZFS... Если бы Вы грузили 8-ку (+ ZFS) - то там явно в dmesg видно, как при 4 Гб ОЗУ ядро само автотюнингом prefetch выключает... >-------------- >ОЗУ >Prefetch выключу при следующей перезагрузке (к сожалению сейчас возможности перезагрузить нет) Должно помочь. >--------------- >Что именно в выводу топа нужно? >--------------- первые 4 строки (шапка) >Вот вывод скриптика: >TEXT=15484192, 14.7669 MB >DATA=3466345472, 3305.76 MB >TOTAL=3481829664, 3320.53 MB Угу - prefetch все скушал...
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	12. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 10-Ноя-09, 11:28
	>[оверквотинг удален] >>--------------- > >первые 4 строки (шапка) > >>Вот вывод скриптика: >>TEXT=15484192, 14.7669 MB >>DATA=3466345472, 3305.76 MB >>TOTAL=3481829664, 3320.53 MB > >Угу - prefetch все скушал... Поставил sysctl -a | grep prefetch vfs.zfs.prefetch_disable: 1 Вывод топа: last pid:  2442;  load averages:  3.73,  4.84,  5.24                                   up 0+02:44:13  11:26:06 7 processes:   1 running, 6 sleeping CPU:  0.1% user,  0.0% nice, 64.0% system,  0.1% interrupt, 35.8% idle Mem: 39M Active, 110M Inact, 6106M Wired, 196K Cache, 15M Buf, 1658M Free Swap: 4062M Total, 4062M Free Вывод скриптика: TEXT=15484192, 14.7669 MB DATA=5235961856, 4993.4 MB TOTAL=5251446048, 5008.17 MB Подскажите, пожалуйста, как Вы определили что скушал все префетч. ПС - проблема остается, скорость остается такой же.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	13. "FreeBSD ZFS"		+/–
	Сообщение от Dorlas (??) on 10-Ноя-09, 11:51
	>[оверквотинг удален] >Mem: 39M Active, 110M Inact, 6106M Wired, 196K Cache, 15M Buf, 1658M >Free >Swap: 4062M Total, 4062M Free > >Вывод скриптика: >TEXT=15484192, 14.7669 MB >DATA=5235961856, 4993.4 MB >TOTAL=5251446048, 5008.17 MB >Подскажите, пожалуйста, как Вы определили что скушал все префетч. ПС - проблема >остается, скорость остается такой же. У меня при включенном prefetch TOTAL более 2 Гб (на 4 Гб системе). Если отключить - более 600 Мб не видел (при ОЗУ 4 Гб). Если ОЗУ 2 Гб - среднее значение TOTAL: 330-350 Мб. У Вас сейчас 7 процессов в системе - непонятно, чем сервер загружен... Что за железо ?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	14. "FreeBSD ZFS"		+/–
	Сообщение от Dorlas (??) on 10-Ноя-09, 11:53
	>Что за железо ? И еще - из ядра все отладочные вещи Вы убирали ?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	17. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 10-Ноя-09, 12:42
	>>Что за железо ? > >И еще - из ядра все отладочные вещи Вы убирали ? Да
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	15. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 10-Ноя-09, 12:09
	>[оверквотинг удален] > >У меня при включенном prefetch TOTAL более 2 Гб (на 4 Гб >системе). Если отключить - более 600 Мб не видел (при ОЗУ >4 Гб). Если ОЗУ 2 Гб - среднее значение TOTAL: 330-350 >Мб. > >У Вас сейчас 7 процессов в системе - непонятно, чем сервер загружен... > > >Что за железо ? AMD 64, 8Gb выполняются proftpd В zpool status -v есть error в одном из файлов. Я не могу понять, что за тип пула у меня. zpool status показывает:         NAME        STATE     READ WRITE CKSUM         DSR         ONLINE       0     0     0           da1       ONLINE       0     0     0 raidz не сконфигурирован же.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	19. "FreeBSD ZFS"		+/–
	Сообщение от Dorlas (??) on 10-Ноя-09, 13:37
	>[оверквотинг удален] >CKSUM >        DSR     >     ONLINE       > 0     0     >0 >          da1   >     ONLINE       > 0     0     >0 >raidz не сконфигурирован же. Дайте содержимое файла: /var/run/dmesg.boot
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	20. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 10-Ноя-09, 13:45
	>[оверквотинг удален] >>     ONLINE       >> 0     0     >>0 >>          da1   >>     ONLINE       >> 0     0     >>0 >>raidz не сконфигурирован же. > >Дайте содержимое файла: /var/run/dmesg.boot real memory  = 8589934592 (8192 MB)                                                                             avail memory = 8248455168 (7866 MB)   --------------------------------------------------------//несущественно 3ware device driver for 9000 series storage controllers, version: 3.70.05.001                                   twa0: <3ware 9000 series Storage Controller> port 0x2000-0x203f mem 0xd8000000-0xd9ffffff,0xda100000-0xda100fff irq 16 at device 1.0 on pci5   -----------------------------------------------------------//несущественно da1 at twa0 bus 0 target 0 lun 1                                                                               da1: <AMCC 9550SX-16M DISK 3.08> Fixed Direct Access SCSI-5 device                                             da1: 100.000MB/s transfers da1: 17125052MB (35072106497 512 byte sectors: 255H 63S/T 2183137C) --------------------------------------------------//несущественно (probe0:umass-sim0:0:0:0): TEST UNIT READY. CDB: 0 0 0 0 0 0 (probe0:umass-sim0:0:0:0): CAM Status: SCSI Status Error (probe0:umass-sim0:0:0:0): SCSI Status: Check Condition (probe0:umass-sim0:0:0:0): NOT READY asc:3a,0 (probe0:umass-sim0:0:0:0): Medium not present (probe0:umass-sim0:0:0:0): Unretryable error GEOM: da1: corrupt or invalid GPT detected. GEOM: da1: GPT rejected -- may not be recoverable.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	21. "FreeBSD ZFS"		+/–
	Сообщение от Dorlas (??) on 10-Ноя-09, 14:00
	>[оверквотинг удален] >da1: 17125052MB (35072106497 512 byte sectors: 255H 63S/T 2183137C) >--------------------------------------------------//несущественно >(probe0:umass-sim0:0:0:0): TEST UNIT READY. CDB: 0 0 0 0 0 0 >(probe0:umass-sim0:0:0:0): CAM Status: SCSI Status Error >(probe0:umass-sim0:0:0:0): SCSI Status: Check Condition >(probe0:umass-sim0:0:0:0): NOT READY asc:3a,0 >(probe0:umass-sim0:0:0:0): Medium not present >(probe0:umass-sim0:0:0:0): Unretryable error >GEOM: da1: corrupt or invalid GPT detected. >GEOM: da1: GPT rejected -- may not be recoverable. Мда, железка у Вас интересная...мне такая не попадалась :) Еще момент заметил: >DSP         15.8T   492G    199     40  6.44M  1.16M Я правильно понимаю, у Вас пул практически весь забит уже ? приведите вывод zpool list. Вроде была информация, что ZFS начинает тормозить, когда пул занят более чем на 95%...из-за самой технологии (copy-on-write). Когда только заполняли пул - скорость нормальная была ? PS: Пул у вас обычный...как бы из одного диска.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	22. "FreeBSD ZFS"		+/–
	Сообщение от lavr on 10-Ноя-09, 14:25
	>[оверквотинг удален] > >Я правильно понимаю, у Вас пул практически весь забит уже ? приведите >вывод zpool list. > >Вроде была информация, что ZFS начинает тормозить, когда пул занят более чем >на 95%...из-за самой технологии (copy-on-write). > >Когда только заполняли пул - скорость нормальная была ? > >PS: Пул у вас обычный...как бы из одного диска. есть подозрение что неплохо было бы сперва с twa разобраться... что под ним организовано
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	23. "FreeBSD ZFS"		+/–
	Сообщение от Dorlas (??) on 10-Ноя-09, 14:31
	>есть подозрение что неплохо было бы сперва с twa разобраться... >что под ним организовано ОоОоо - мое почтение!!! 2 года от Вас сообщений не видел....думал уж и не встречу ;)
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	27. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 10-Ноя-09, 18:43
	>>есть подозрение что неплохо было бы сперва с twa разобраться... >>что под ним организовано > >ОоОоо - мое почтение!!! > >2 года от Вас сообщений не видел....думал уж и не встречу ;) > lavr на sysadmins.ru тусит
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	24. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 10-Ноя-09, 14:58
	>[оверквотинг удален] > >Я правильно понимаю, у Вас пул практически весь забит уже ? приведите >вывод zpool list. > >Вроде была информация, что ZFS начинает тормозить, когда пул занят более чем >на 95%...из-за самой технологии (copy-on-write). > >Когда только заполняли пул - скорость нормальная была ? > >PS: Пул у вас обычный...как бы из одного диска. Да, пул забит на 97%. А источник что она тормозит при этом?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	25. "FreeBSD ZFS"		+/–
	Сообщение от Dorlas (??) on 10-Ноя-09, 15:13
	>Да, пул забит на 97%. А источник что она тормозит при этом? http://www.solarisinternals.com/wiki/index.php/ZFS_Best_Prac... Storage Pool Performance Considerations General Storage Pool Performance Considerations ... Keep pool space under 80% utilization to maintain pool performance. Currently, pool performance can degrade when a pool is very full and file systems are updated frequently, such as on a busy mail server. Full pools might cause a performance penalty, but no other issues. If the primary workload is immutable files (write once, never remove), then you can keep a pool in the 95-98% utilization range. Keep in mind that even with mostly static content in the 95-98% range, write, read, and resilvering performance might suffer. ...
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	26. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 10-Ноя-09, 15:32
	>[оверквотинг удален] >... >Keep pool space under 80% utilization to maintain pool performance. Currently, pool >performance can degrade when a pool is very full and file >systems are updated frequently, such as on a busy mail server. >Full pools might cause a performance penalty, but no other issues. >If the primary workload is immutable files (write once, never remove), >then you can keep a pool in the 95-98% utilization range. >Keep in mind that even with mostly static content in the >95-98% range, write, read, and resilvering performance might suffer. >... Спасибо! Думаю вот и решение.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "FreeBSD ZFS"		+/–
Сообщение от hate on 09-Ноя-09, 18:49
1. Сколько ОЗУ на машине? Покажи вывод  zpool status -v
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	6. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 09-Ноя-09, 18:51
	> > > 1. Сколько ОЗУ на машине? > > Покажи вывод  zpool status -v   pool: DSP state: ONLINE status: One or more devices has experienced an error resulting in data         corruption.  Applications may be affected. action: Restore the file in question if possible.  Otherwise restore the         entire pool from backup.    see: http://www.sun.com/msg/ZFS-8000-8A scrub: none requested config:         NAME        STATE     READ WRITE CKSUM         DSP         ONLINE       0     0     0           da1       ONLINE       0     0     0 errors: Permanent errors have been detected in the following files:         /home/my/base.data.sql
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	7. "FreeBSD ZFS"		+/–
	Сообщение от QuAzI (ok) on 09-Ноя-09, 19:06
	>errors: Permanent errors have been detected in the following files: > >        /home/my/base.data.sql А scrub вы зря не делаете. Меня производительность работы ФС вполне устраивает даже когда она в qemu запущена. Athlon AM2 3800+ 2Gb RAM на базовой машине. Что конкретно вы dd'хаете? Может там одни нули? Что при этом сам dd показывает?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	16. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 10-Ноя-09, 12:35
	>>errors: Permanent errors have been detected in the following files: >> >>        /home/my/base.data.sql > >А scrub вы зря не делаете. >Меня производительность работы ФС вполне устраивает даже когда она в qemu запущена. >Athlon AM2 3800+ 2Gb RAM на базовой машине. Что конкретно вы >dd'хаете? Может там одни нули? Что при этом сам dd показывает? > Я и random и null отправляю. dd показывает такую же грустную скорость. Объем большой, scrub будет очень долгим.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "FreeBSD ZFS"		+/–
Сообщение от universite (ok) on 09-Ноя-09, 22:25
>[оверквотинг удален] >#vm.kmem_size="999M" >#vfs.zfs.arc_max="448M" >#vfs.zfs.prefetch_disable=1 >#vfs.zfs.zil_disable=1 >#vfs.zfs.cache_flush_disable=1 >vm.kmem_size_max="1024M" >vm.kmem_size="1024M" >vfs.zfs.arc_max="100M" >---- >Подскажите советом. стакими параметрами работает уже больше года. ## -> speed to write vfs.zfs.arc_max="448М" vm.kmem_size_max="999M" vm.kmem_size="999M" vfs.zfs.zil_disable="1"
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	10. "FreeBSD ZFS"		+/–
	Сообщение от Dorlas (??) on 10-Ноя-09, 09:26
	>стакими параметрами работает уже больше года. > >## -> speed to write >vfs.zfs.arc_max="448М" >vm.kmem_size_max="999M" >vm.kmem_size="999M" >vfs.zfs.zil_disable="1" Не нужно вводить людей в заблуждение.... Все зависит от объема ОЗУ: Для архитектуры AMD64 параметр vfs.zfs.arc_max сам тюненгуется в зависимости от текущего ОЗУ (причем пропорция практически линейна). vm.kmem_size_max и vm.kmem_size в AMD64.... ну совсем другие... Если у Вас i386 и 2 Гб ОЗУ - я бы с этими параметрами еще согласился...НО для AMD64 и другим объемом ОЗУ опции не оптимальны!
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	11. "FreeBSD ZFS"		–1 +/–
	Сообщение от universite (ok) on 10-Ноя-09, 09:50
	>Если у Вас i386 и 2 Гб ОЗУ - я бы с >этими параметрами еще согласился...НО для AMD64 и другим объемом ОЗУ опции >не оптимальны! тесты скорости чтения-записи с вами не согласны.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	18. "FreeBSD ZFS"		+/–
	Сообщение от sweer (??) on 10-Ноя-09, 12:46
	> >>Если у Вас i386 и 2 Гб ОЗУ - я бы с >>этими параметрами еще согласился...НО для AMD64 и другим объемом ОЗУ опции >>не оптимальны! > >тесты скорости чтения-записи с вами не согласны. При 8Гб оперативки vfs.zfs.arc_max: 1728552960 установился
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема