Du könntest neben Adware und ähnlichen einfach BotHunter nutzen, dieses Programm läuft im Hintergrund und analysiert den Netzwerktraffic. Das Programm verfügt über eine Datenbank, die Muster und Verhalten von diversen Botnetzen enthält und genau danach wird eben in deinem Netzwerk geschaut.

Das Programm ist Open Source und für Windows erhältlich.

Link zum Programm: http://www.bothunter.net/