WEB- Proxy hängt mehrmals täglich

Klinke mich hier auch mal ein:
Wir haben zwei 320er im HA A/P laufen. V8.309 - das ist die Version, die scheinbar am stabilsten läuft. Mit allen neuren 8er Versionen gabs Probleme.
Wir haben auch seit ca 1 Monat und seit 1 Woche verstärkt das Problem, dass wir auch mit mehreren Aussetzern, Freezes der Boxen kämpfen. Das sieht teilweise so aus, dass 
man nicht mal mehr auf den Webadmin kommt. Im Log sehe ich zu den Problemzeiten ebenfalls, die gleichen Meldungen wie der Themenstarter:
 sys="SecureWeb" sub="http" request="(nil)" function="sc_check_servers" file="scr_scanner.c

Seit dem wir die Maschinen im Cluster laufen lassen, hat sich die Problematik gefühlt verdreifacht. Wir machen dann einen Master/Slave Switch und dann gehts erstmal wieder.
Einmal mussten wir den hängenden Master sogar ausschalten, weil man nicht mal mehr mit SSH drauf kam.

Config:
Webfilter: Standardmodus, +HTTPS
AV: Dual 100mb
Streaming scan: off
Application Control (nur default Regeln)
Anzahl Anfragen pro Tag: ca 500.000, also schon etwas mehr.

Mailproxy
AV: dual
Mails die der pro Tag verarbeiten muss: 

Das Problem ist immer ein CPU Problem.
Gestern mussten wir wieder einen Clusterswitch machen. Danach bin ich per SSH drauf und hab TOP den ganzen Tag mitlaufen lassen. Später gab es wieder einen kurzen Hänger. TOP hat gezeigt, dass der postgres Prozess mit 100% CPU Last lief. Also nix mit Antivirus oder so. Die Maschine legt sich zumindest teilweise durch interne Verwaltung lahm - tagsüber!

Also ich würde, um es erst mal so schnell wie möglich als Ursache ausschließen zu können, das Reporting massiv zurück fahren (1 Tag) oder testweise ganz ausschalten.

Wenn das nicht geholfen hat, mal eine Web-Filter Exception definieren, dass das normale Logging im HTTP-Proxy abgeschaltet wird. Dann sieht man auch, ob sich da irgendein Festplatten-Performance-Problem eingeschlichen hat.

IDS wird verwendet? Wenn ja, wie viele Regeln sind aktiv? Wie sieht das Logfile aus, wird da auch vel geloggt oder passiert da nicht so viel?

MfG
Manuel

IDS - meinst du IPS / Angriffschutz? Haben wir nicht aktiv. Wir haben auch keine Firewallregeln aktiv.
Das das der Oberperformancekiller ist, habe ich auch schon oft gelesen.

Beim Reporting habe ich nun alles, was nicht benötigt wird, deaktiviert und alles andere von 6 Monaten auch 1 Woche reduziert.
Bedeutet das nun, dass ich diese Berichte hier nicht mehr auf einen Monat ausdehnen kann oder was konkret? In der Hilfe wird darauf nicht genauer eingegangen.

Hier ein aktueller TOP Bericht: postgres 99% CPU

top - 13:57:52 up 13 days, 26 min,  1 user,  load average: 0.91, 0.39, 0.37

Tasks: 157 total,   2 running, 154 sleeping,   0 stopped,   1 zombie

Cpu(s): 49.5%us,  2.0%sy,  0.3%ni, 47.8%id,  0.2%wa,  0.0%hi,  0.2%si,  0.0%st

Mem:   2023472k total,  1812332k used,   211140k free,    23820k buffers

Swap:  2100816k total,   943728k used,  1157088k free,   575112k cached



  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

12290 postgres  20   0  121m  94m  29m R   99  4.8   0:08.72 postgres

 5092 root      20   0  2580 1000  616 S    1  0.0 129:28.81 lcd4linux

 6058 root      20   0 11392 3868 1404 S    1  0.2  51:38.35 selfmonng.plx

 7343 httpprox  20   0 1906m 599m 5964 S    1 30.3 226:37.82 httpproxy

10179 root      39  19 29780  23m 3812 S    1  1.2   0:00.57 gen_inline_repo

13863 postgres  20   0 49960  36m  35m S    1  1.9   4:56.41 postgres

  272 root      20   0     0    0    0 S    0  0.0   2:12.94 kswapd0

 6910 root      20   0  7832 3324  932 S    0  0.2   2:47.99 named

 7241 root      20   0 63188  31m  11m S    0  1.6  61:53.97 ctasd

 8217 afcd      19  -1 76228 8360 2484 S    0  0.4   5:19.64 afcd

11649 root      20   0 37316  15m 1772 S    0  0.8   3:39.13 smtpd.bin

und schon wieder:

top - 14:03:08 up 13 days, 31 min,  1 user,  load average: 0.74, 0.44, 0.38

Tasks: 158 total,   2 running, 155 sleeping,   0 stopped,   1 zombie

Cpu(s): 51.5%us,  3.5%sy,  0.0%ni, 40.4%id,  4.5%wa,  0.0%hi,  0.2%si,  0.0%st

Mem:   2023472k total,  1852452k used,   171020k free,    29888k buffers

Swap:  2100816k total,   943780k used,  1157036k free,   567912k cached



  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

12817 postgres  20   0  149m 115m  29m R   99  5.8   0:08.88 postgres

12837 root      20   0 56460  22m 1472 D    3  1.1   0:00.09 confd.plx

12595 root      20   0 40976  22m 6192 S    1  1.1   0:01.16 smtpd.bin

 5092 root      20   0  2580 1000  616 S    1  0.0 129:31.23 lcd4linux

 7241 root      20   0 63188  31m  10m S    1  1.6  61:58.88 ctasd

 2415 root      20   0  2600 1104  796 R    0  0.1   0:11.69 top

 5924 postgres  20   0 46896  33m  33m S    0  1.7   2:01.64 postgres

und nocheinmal - diesmal cssd - was macht der denn?

top - 14:23:04 up 13 days, 51 min,  1 user,  load average: 2.94, 0.92, 0.48

Tasks: 158 total,   3 running, 151 sleeping,   0 stopped,   4 zombie

Cpu(s): 75.2%us, 11.8%sy,  0.0%ni,  0.0%id, 11.6%wa,  0.0%hi,  1.3%si,  0.0%st

Mem:   2023472k total,  1967356k used,    56116k free,    15392k buffers

Swap:  2100816k total,   581164k used,  1519652k free,   540332k cached



  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

15233 root      20   0  294m 228m 1584 R   98 11.6   0:08.05 cssd

 7343 httpprox  20   0 1887m 746m 5148 S   67 37.8 227:54.08 httpproxy

 5092 root      20   0  2580 1000  616 R    1  0.0 129:40.22 lcd4linux

 7241 root      20   0 63188  31m  10m S    1  1.6  62:08.45 ctasd

    8 root      20   0     0    0    0 S    0  0.0   4:07.60 events/1

  272 root      20   0     0    0    0 S    0  0.0   2:13.16 kswapd0

 6058 root      20   0 11392 3896 1404 S    0  0.2  51:43.25 selfmonng.plx

 8199 root      39  19  8572 2392 1272 S    0  0.1   7:54.01 snmpd

11674 root      20   0 39152  10m 1356 S    0  0.5   0:40.36 smtpd.bin

IDS - meinst du IPS / Angriffschutz? Haben wir nicht aktiv. Wir haben auch keine Firewallregeln aktiv.
Das das der Oberperformancekiller ist, habe ich auch schon oft gelesen.

Beim Reporting habe ich nun alles, was nicht benötigt wird, deaktiviert und alles andere von 6 Monaten auch 1 Woche reduziert.
Bedeutet das nun, dass ich diese Berichte hier nicht mehr auf einen Monat ausdehnen kann oder was konkret? In der Hilfe wird darauf nicht genauer eingegangen.

Hier ein aktueller TOP Bericht: postgres 99% CPU

top - 13:57:52 up 13 days, 26 min,  1 user,  load average: 0.91, 0.39, 0.37

Tasks: 157 total,   2 running, 154 sleeping,   0 stopped,   1 zombie

Cpu(s): 49.5%us,  2.0%sy,  0.3%ni, 47.8%id,  0.2%wa,  0.0%hi,  0.2%si,  0.0%st

Mem:   2023472k total,  1812332k used,   211140k free,    23820k buffers

Swap:  2100816k total,   943728k used,  1157088k free,   575112k cached



  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

12290 postgres  20   0  121m  94m  29m R   99  4.8   0:08.72 postgres

 5092 root      20   0  2580 1000  616 S    1  0.0 129:28.81 lcd4linux

 6058 root      20   0 11392 3868 1404 S    1  0.2  51:38.35 selfmonng.plx

 7343 httpprox  20   0 1906m 599m 5964 S    1 30.3 226:37.82 httpproxy

10179 root      39  19 29780  23m 3812 S    1  1.2   0:00.57 gen_inline_repo

13863 postgres  20   0 49960  36m  35m S    1  1.9   4:56.41 postgres

  272 root      20   0     0    0    0 S    0  0.0   2:12.94 kswapd0

 6910 root      20   0  7832 3324  932 S    0  0.2   2:47.99 named

 7241 root      20   0 63188  31m  11m S    0  1.6  61:53.97 ctasd

 8217 afcd      19  -1 76228 8360 2484 S    0  0.4   5:19.64 afcd

11649 root      20   0 37316  15m 1772 S    0  0.8   3:39.13 smtpd.bin

und schon wieder:

top - 14:03:08 up 13 days, 31 min,  1 user,  load average: 0.74, 0.44, 0.38

Tasks: 158 total,   2 running, 155 sleeping,   0 stopped,   1 zombie

Cpu(s): 51.5%us,  3.5%sy,  0.0%ni, 40.4%id,  4.5%wa,  0.0%hi,  0.2%si,  0.0%st

Mem:   2023472k total,  1852452k used,   171020k free,    29888k buffers

Swap:  2100816k total,   943780k used,  1157036k free,   567912k cached



  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

12817 postgres  20   0  149m 115m  29m R   99  5.8   0:08.88 postgres

12837 root      20   0 56460  22m 1472 D    3  1.1   0:00.09 confd.plx

12595 root      20   0 40976  22m 6192 S    1  1.1   0:01.16 smtpd.bin

 5092 root      20   0  2580 1000  616 S    1  0.0 129:31.23 lcd4linux

 7241 root      20   0 63188  31m  10m S    1  1.6  61:58.88 ctasd

 2415 root      20   0  2600 1104  796 R    0  0.1   0:11.69 top

 5924 postgres  20   0 46896  33m  33m S    0  1.7   2:01.64 postgres

und nocheinmal - diesmal cssd - was macht der denn?

top - 14:23:04 up 13 days, 51 min,  1 user,  load average: 2.94, 0.92, 0.48

Tasks: 158 total,   3 running, 151 sleeping,   0 stopped,   4 zombie

Cpu(s): 75.2%us, 11.8%sy,  0.0%ni,  0.0%id, 11.6%wa,  0.0%hi,  1.3%si,  0.0%st

Mem:   2023472k total,  1967356k used,    56116k free,    15392k buffers

Swap:  2100816k total,   581164k used,  1519652k free,   540332k cached



  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

15233 root      20   0  294m 228m 1584 R   98 11.6   0:08.05 cssd

 7343 httpprox  20   0 1887m 746m 5148 S   67 37.8 227:54.08 httpproxy

 5092 root      20   0  2580 1000  616 R    1  0.0 129:40.22 lcd4linux

 7241 root      20   0 63188  31m  10m S    1  1.6  62:08.45 ctasd

    8 root      20   0     0    0    0 S    0  0.0   4:07.60 events/1

  272 root      20   0     0    0    0 S    0  0.0   2:13.16 kswapd0

 6058 root      20   0 11392 3896 1404 S    0  0.2  51:43.25 selfmonng.plx

 8199 root      39  19  8572 2392 1272 S    0  0.1   7:54.01 snmpd

11674 root      20   0 39152  10m 1356 S    0  0.5   0:40.36 smtpd.bin

IDS - meinst du IPS / Angriffschutz? Haben wir nicht aktiv. Wir haben auch keine Firewallregeln aktiv.
Das das der Oberperformancekiller ist, habe ich auch schon oft gelesen

Ja, sorry, IDS/IPS ist für mich inzwischen immer das gleiche. Sophos nennt es halt "Intrusion Prevention".

Es kann bei falscher Konfiguration ein ordentlicher Performance-Fresser sein, aber wenn man damit etwas vorsichtig umgeht, sinnvolle Regeln auswählt und nötige Exceptions erstellt, läuft es auch auch auf einer UTM 220 mit mehreren Internetleitungen und ein paar Dutzend internen Interfaces (per VLAN getrennt) erstaunlich gut. Es ist allerdings auch immer mal wieder eine interessante Quelle ansonsten eher ominöser Fehler, weil man nicht über alle erkannten Angriffsmuster per E-Mail informiert wird. Manches findet sich nur direkt im Logfile, wo man eben immer wieder mal nachschauen muss.

Beim Reporting habe ich nun alles, was nicht benötigt wird, deaktiviert und alles andere von 6 Monaten auch 1 Woche reduziert.
Bedeutet das nun, dass ich diese Berichte hier nicht mehr auf einen Monat ausdehnen kann oder was konkret? In der Hilfe wird darauf nicht genauer eingegangen.

Wie gesagt, zum schnellen Test mal komplett ausschalten und für einen Tag beobachten. Eigentlich wirkt sich das dann nur auf alle erweiterten Such- und Analysemöglichkeiten unter "Logging & Reporting" aus. Da kann man bei kürzeren Haltezeiten eben weniger ausführlich, dafür aber schneller suchen. Die Aufbereitung dieser Daten unter der Haube ist aber eben auch aufwendig.

Das tägliche, wöchentliche, monatliche Reporting ist davon nicht betroffen. Das basiert auf den eigentlichen Logfiles und wird meines Wissens nicht so oft angestoßen.

MfG
Manuel