>в системе происходит отказ от сервиса (signal 4 core.dumped)
^^ можно попробовать проанализировать core файл средствами gdb.
>Судя по всему атакуют снаружи и по расписанию....
^^ с чего ты взял что это атака?
> 1. Как отследить атаку (в логах при отказе она
>не отображается)
^^ можно поставить какую нибудь NIDS (Network Intrusion Detection System)
> 2. Как очистить память от "хвостов" апача, дабы его
>можно было перезапустить, без перегрузки сервера (killall -не
>подходит...в памяти апача нет)
^^ А вообще в Апач есть такая хорошая директива по ограничению ресурсов сервера. Можно найти в стандартной документации Апача.
> 3. Какими средствами защитится
Firewall, NIDS, Security patches.
А вообще попробуй выставить log-level побольше и протрейсить ошибки в лог файлах /var/log/httpd/error.log или где они у тебя там лежат.