This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

[WAR 101] System load to high - please check

We have a problem on a clients firewall running 4.009, with runaway SMTP proxy processes, here's what ps says: -

USER       PID %CPU %MEM   VSZ  RSS TTY      STAT START   TIME COMMAND
root     27242 52.2  0.4  3668 2276 ?        R    13:37 254:13 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded em
root      3197 49.0  0.4  3668 2276 ?        R    14:08 223:45 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded em

A more detailed check of each process shows (email addresses changed) : -

# ps -ef | grep 27242
root     27242     1 52 13:37 ?        04:22:44 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19cP7b-0002tK-00 customer@domain.co.uk
# ps -ef | grep 3197                                
root      3197     1 49 14:08 ?        03:53:20 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19cQ4m-0007Ro-00 customer@domain.co.uk

Yet a check of the spool shows that there are no files: -

# ls -la /var/chroot-smtp/spool/input                 
total 8
drwxr-xr-x   2 squid    666          4096 Jul 15 21:41 .
drwxr-xr-x   8 squid    666          4096 Jul 15 14:09 ..

Up2Date runs daily and is up2date ...

Tue Jul 15 22:36:16 UTC 2003 

000 Starting Update Service.
001 Getting update list from server 212.126.210.201......Connected!
002 Your system is up2date.

and there are no packages waiting to be installed.

Spam detection is enabled with the following: -
Sender address verification - disabled
sender blacklist - enabled with just one domain listed
Spam detection - enabled, action = Quarantine, strategy = Reasonable and 10 domains in the whitelist
RBL - enabled
File extension filter - disabled
Expression filter - enabled and set to quarantine with a single entry set to "f.u.c.k"

A detailed check of the maillogs shows that the problem may be related to the expression filter (Email addresses have been hashed out)

Jul 15 12:41:32 (none) exim[11118]: 2003-07-15 12:41:32 19cP7b-0002tK-00 exiscan: unwanted regular expression (string match) found (anal) Host=none/unresolved/local [216.31.204.68] Sender='cwe-update@cw360.ruk1.com' Recipients[1]=[xxxxx@xxxxx.co.uk] Subject='Security:Want To Be a Cisco Certified Security Professional?/Evaluating SSL VPNs?/SPAM: Filter the Genuine from the Junk!'
Jul 15 12:41:32 (none) exim[11118]: 2003-07-15 12:41:32 19cP7b-0002tK-00 exiscan: freezing.
Jul 15 12:41:32 (none) exim[11118]: 2003-07-15 12:41:32 19cP7b-0002tK-00 cwe-update@cw360.ruk1.com H=(lo2-r2-omp2.ruk1.net) [216.31.204.68] P=esmtp S=23837
Jul 15 12:41:32 (none) exim[11122]: 2003-07-15 12:41:32 19cP7b-0002tK-00 moved from input, msglog to Finput, Fmsglog

Jul 15 13:42:52 (none) exim[28632]: 2003-07-15 13:42:52 19cQ4m-0007Ro-00 exiscan: unwanted regular expression (string match) found (anal) Host=none/unresolved/local [193.237.22.37] Sender='xxxxxx@xxxxxxxx.co.uk' Recipients[1]=[xxxxx@xxxxx.co.uk] Subject=''
Jul 15 13:42:52 (none) exim[28632]: 2003-07-15 13:42:52 19cQ4m-0007Ro-00 exiscan: freezing.
Jul 15 13:42:52 (none) exim[28632]: 2003-07-15 13:42:52 19cQ4m-0007Ro-00 xxxxx@xxxxx.co.uk H=(server01.xxxx.local) [111.111.111.111] P=esmtp S=66278 id=C0E271B3E36DC84CB1CD87CE1829C281015281@server01.xxxxx.local
Jul 15 13:42:52 (none) exim[28697]: 2003-07-15 13:42:52 19cQ4m-0007Ro-00 moved from input, msglog to Finput, Fmsglog

We have disabled the expression filter check and will wait to see if the problem reoccurs, however the customer will want this feature if we tell him they can't have it [:(]


Help ....  


This thread was automatically locked due to age.
Parents
  • I have problems with the expression filter in SMTP proxy.  It consumes a lot of resources.

    I get messages about too much memory in use, too much swap file and CPU utilisation too high.

    I did have a lot of entries in the expression filter (About 50) to cut down on spam.

    The expression filter never seems to have worked correctly.  Wildcard names do not seem to work correctly.

    Version 4.009
    I have disabled my expression filter because of this.
Reply
  • I have problems with the expression filter in SMTP proxy.  It consumes a lot of resources.

    I get messages about too much memory in use, too much swap file and CPU utilisation too high.

    I did have a lot of entries in the expression filter (About 50) to cut down on spam.

    The expression filter never seems to have worked correctly.  Wildcard names do not seem to work correctly.

    Version 4.009
    I have disabled my expression filter because of this.
Children
  • Well I have dug a little deeper on this. Things seem to have calmed down since we disabled the expression filter, however a quick check of the exim.conf file shows that there is still a regex filter there: -

    # scanner configuration: regex
    exiscan_regex_data = f.u.c.k:
    exiscan_regex_action = freeze

    Now I am not at all familiar with exim, let alone exim and exiscan, but my guess would be that exim/exiscan does not like multiple entries in the filter or the Astaro code for adding (and removing) these entries is corrupting the exim.conf file some how (or maybe I am completely wrong and it is something else entirely) [:S]

    That said as Exiscan development is sponsored by Astaro we can only hope that somebody would take this up and investigate why this happens. 

    The hardware spec is very over the top (P4 2.4, 512Mb memory and 40Gb HD for a 10 user license network) andit is a little embarrassing when the customer gets the System load to high error message  [:$]