Вариант для распечатки		Пред. тема | След. тема
Форум Открытые системы на сервере (Мониторинг, логи / Linux)
Изначальное сообщение		[ Отслеживать ]

"Выявить максимальное потребление памяти на сервере"	–1 +/–
Сообщение от Seryoga2014 (ok), 03-Авг-19, 12:38
На сервере терабайты логов, их надо времена парсить временами, разыскивая всякое. В некоторых случаях парсер ломается, проработав часа 3. Подозреваю, что память заканчивается и поэтому он ломается. Хотелось бы как-то это понять. Как? Можно как-то выяснить сколько процентов физической RAM, своп-файла было занято в максимально на сервере? Дело в том, что подбираю конфиг для нового сервера и не понятно, надо ли больше памяти или и так её слишком много. Когда только запускаю парсер, то если смотрю с помощью htop используемую память, то её сильно меньше общего количества физической и значение не растёт, но что там будет через несколько часов работы парсера - не знаю и постоянно вручную смотреть - какой-то мутный вариант, да и CPU мне за это время может понадобиться для дела - не хотелось бы его занимать на много часов ради эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать как потребление памяти? Есть какие-то инструменты, но только чтоб не строить графики в web типа Cacti и т.д.
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. "Выявить максимальное потребление памяти на сервере"	+/–
Сообщение от Аноним (1), 03-Авг-19, 13:17
top -b
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Выявить максимальное потребление памяти на сервере"	+/–
Сообщение от Аноним (2), 03-Авг-19, 17:17
atop. Потом посмотришь его логи, только период замеров не забудь поставить нужный
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Выявить максимальное потребление памяти на сервере"	+/–
Сообщение от Аноним (3), 03-Авг-19, 17:54
Munin
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Выявить максимальное потребление памяти на сервере"	+/–
Сообщение от VladimirV (ok), 04-Авг-19, 07:02
поставить систему мониторинга, какая нравится, например Zabbix
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	5. "Выявить максимальное потребление памяти на сервере"	+/–
	Сообщение от Аноним (5), 05-Авг-19, 10:35
	> поставить систему мониторинга, какая нравится, например Zabbix - Пацаны, тут надо с дачи ведерко помидор привезти... - Бро, тебе Камаз нужен, иначе никак!
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	9. "Выявить максимальное потребление памяти на сервере"	+/–
	Сообщение от Seryoga2014 (ok), 05-Авг-19, 19:43
	> - Пацаны, тут надо с дачи ведерко помидор привезти... > - Бро, тебе Камаз нужен, иначе никак! Да, разбираться с Заббиксом мне бы не хотелось (я его вообще не знаю) из-за такой ерундовой (на мой некомпетентный взгляд), разовой задачки. Хотелось бы чего-то максимально простого.
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

6. "Выявить максимальное потребление памяти на сервере"	+/–
Сообщение от ыы (?), 05-Авг-19, 10:44
>[оверквотинг удален] > и не понятно, надо ли больше памяти или и так её > слишком много. Когда только запускаю парсер, то если смотрю с помощью > htop используемую память, то её сильно меньше общего количества физической и > значение не растёт, но что там будет через несколько часов работы > парсера - не знаю и постоянно вручную смотреть - какой-то мутный > вариант, да и CPU мне за это время может понадобиться для > дела - не хотелось бы его занимать на много часов ради > эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать > как потребление памяти? Есть какие-то инструменты, но только чтоб не строить > графики в web типа Cacti и т.д. Поскольку вы не пишите что за ОС на сервере -  предположу что виндовс. Ищите  в поисковике "счетчики производительности windows" Ну а в линухах есть такая штука как sar - если не выпендривались и ставили например centos (вы же не поставили на сервер убунту да?) по умолчанию - то он там есть и работает. ищите в поисковике как посмотреть через него параметры системы за нужный промежуток времени
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	8. "Выявить максимальное потребление памяти на сервере"	+/–
	Сообщение от Seryoga2014 (ok), 05-Авг-19, 19:39
	> Поскольку вы не пишите что за ОС на сервере -  предположу > что виндовс. > Ищите  в поисковике "счетчики производительности windows" Вверху есть "Мониторинг, логи / Linux" - я думал этого достаточно. > Ну а в линухах есть такая штука как sar - если не > выпендривались и ставили например centos (вы же не поставили на сервер > убунту да?) по умолчанию - то он там есть и работает. У меня Debian Stretch. > ищите в поисковике как посмотреть через него параметры системы за нужный промежуток > времени Спасибо, почитаю.
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	10. "Выявить максимальное потребление памяти на сервере"	+/–
	Сообщение от Аноним (10), 09-Авг-19, 12:56
	# cat /proc/meminfo
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

7. "Выявить максимальное потребление памяти на сервере"	+/–
Сообщение от fantom (??), 05-Авг-19, 12:12
>[оверквотинг удален] > и не понятно, надо ли больше памяти или и так её > слишком много. Когда только запускаю парсер, то если смотрю с помощью > htop используемую память, то её сильно меньше общего количества физической и > значение не растёт, но что там будет через несколько часов работы > парсера - не знаю и постоянно вручную смотреть - какой-то мутный > вариант, да и CPU мне за это время может понадобиться для > дела - не хотелось бы его занимать на много часов ради > эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать > как потребление памяти? Есть какие-то инструменты, но только чтоб не строить > графики в web типа Cacti и т.д. # IDX=1; while [[ $IDX -le 10 ]]; do ( date&&free)  >> 123 ;sleep 2 ; IDX=$(($IDX + 1 )); done получите файлик 123 в котором с интервалом в 2 секунду отражены данные 10-ти замеров занятой/свободной памяти варьируя интервал и количество замеров можно добиться нужной продолжительности мониторинга....
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Выявить максимальное потребление памяти на сервере"	+/–
Сообщение от Павел Отредиез (?), 16-Авг-19, 17:24
>[оверквотинг удален] > и не понятно, надо ли больше памяти или и так её > слишком много. Когда только запускаю парсер, то если смотрю с помощью > htop используемую память, то её сильно меньше общего количества физической и > значение не растёт, но что там будет через несколько часов работы > парсера - не знаю и постоянно вручную смотреть - какой-то мутный > вариант, да и CPU мне за это время может понадобиться для > дела - не хотелось бы его занимать на много часов ради > эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать > как потребление памяти? Есть какие-то инструменты, но только чтоб не строить > графики в web типа Cacti и т.д. Что за парсер? grep | less наврядли упадет.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	12. "Выявить максимальное потребление памяти на сервере"	+/–
	Сообщение от Seryoga2014 (ok), 01-Сен-19, 21:16
	>[оверквотинг удален] >> слишком много. Когда только запускаю парсер, то если смотрю с помощью >> htop используемую память, то её сильно меньше общего количества физической и >> значение не растёт, но что там будет через несколько часов работы >> парсера - не знаю и постоянно вручную смотреть - какой-то мутный >> вариант, да и CPU мне за это время может понадобиться для >> дела - не хотелось бы его занимать на много часов ради >> эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать >> как потребление памяти? Есть какие-то инструменты, но только чтоб не строить >> графики в web типа Cacti и т.д. > Что за парсер? grep | less наврядли упадет. Самописный.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема