Защита сервера – это вообще очень обширное понятие в наше время, состоящее из огромного множетсва составляющих его компонентов. В данной статье написано как защититься от php-шеллов.
Будет использована супер библиотека amon.

Ну вот и начали установку:

# apt-get install build-essential
:~# wget http://www.lucaercoli.it/amon/amon.c

Далее компилируем эту библиотеку:

:~# gcc -fPIC -shared -ldl -o amon.so amon.c

:~# mv ./amon.so /lib/

Сообщим Apache о новой библиотеке:
В файлик добавим /etc/apache2/envvars

export LD_PRELOAD=amon.so

Перезапустим супер Apache:

:~# /etc/init.d/apache2 restart

Готово! Но не могу гарантировать, что это защитит Ваш сервер от php-шеллов.