Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 6 replies
  • Subscribers 2 subscribers
  • Views 1796 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

[WAR 101] System load to high - please check

steve_intuitive
We have a problem on a clients firewall running 4.009, with runaway SMTP proxy processes, here's what ps says: -

USER       PID %CPU %MEM   VSZ  RSS TTY      STAT START   TIME COMMAND
root     27242 52.2  0.4  3668 2276 ?        R    13:37 254:13 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded em
root      3197 49.0  0.4  3668 2276 ?        R    14:08 223:45 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded em

A more detailed check of each process shows (email addresses changed) : -

# ps -ef | grep 27242
root     27242     1 52 13:37 ?        04:22:44 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19cP7b-0002tK-00 customer@domain.co.uk
# ps -ef | grep 3197                                
root      3197     1 49 14:08 ?        03:53:20 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19cQ4m-0007Ro-00 customer@domain.co.uk

Yet a check of the spool shows that there are no files: -

# ls -la /var/chroot-smtp/spool/input                 
total 8
drwxr-xr-x   2 squid    666          4096 Jul 15 21:41 .
drwxr-xr-x   8 squid    666          4096 Jul 15 14:09 ..

Up2Date runs daily and is up2date ...

Tue Jul 15 22:36:16 UTC 2003 

000 Starting Update Service.
001 Getting update list from server 212.126.210.201......Connected!
002 Your system is up2date.

and there are no packages waiting to be installed.

Spam detection is enabled with the following: -
Sender address verification - disabled
sender blacklist - enabled with just one domain listed
Spam detection - enabled, action = Quarantine, strategy = Reasonable and 10 domains in the whitelist
RBL - enabled
File extension filter - disabled
Expression filter - enabled and set to quarantine with a single entry set to "f.u.c.k"

A detailed check of the maillogs shows that the problem may be related to the expression filter (Email addresses have been hashed out)

Jul 15 12:41:32 (none) exim[11118]: 2003-07-15 12:41:32 19cP7b-0002tK-00 exiscan: unwanted regular expression (string match) found (anal) Host=none/unresolved/local [216.31.204.68] Sender='cwe-update@cw360.ruk1.com' Recipients[1]=[xxxxx@xxxxx.co.uk] Subject='Security:Want To Be a Cisco Certified Security Professional?/Evaluating SSL VPNs?/SPAM: Filter the Genuine from the Junk!'
Jul 15 12:41:32 (none) exim[11118]: 2003-07-15 12:41:32 19cP7b-0002tK-00 exiscan: freezing.
Jul 15 12:41:32 (none) exim[11118]: 2003-07-15 12:41:32 19cP7b-0002tK-00 cwe-update@cw360.ruk1.com H=(lo2-r2-omp2.ruk1.net) [216.31.204.68] P=esmtp S=23837
Jul 15 12:41:32 (none) exim[11122]: 2003-07-15 12:41:32 19cP7b-0002tK-00 moved from input, msglog to Finput, Fmsglog

Jul 15 13:42:52 (none) exim[28632]: 2003-07-15 13:42:52 19cQ4m-0007Ro-00 exiscan: unwanted regular expression (string match) found (anal) Host=none/unresolved/local [193.237.22.37] Sender='xxxxxx@xxxxxxxx.co.uk' Recipients[1]=[xxxxx@xxxxx.co.uk] Subject=''
Jul 15 13:42:52 (none) exim[28632]: 2003-07-15 13:42:52 19cQ4m-0007Ro-00 exiscan: freezing.
Jul 15 13:42:52 (none) exim[28632]: 2003-07-15 13:42:52 19cQ4m-0007Ro-00 xxxxx@xxxxx.co.uk H=(server01.xxxx.local) [111.111.111.111] P=esmtp S=66278 id=C0E271B3E36DC84CB1CD87CE1829C281015281@server01.xxxxx.local
Jul 15 13:42:52 (none) exim[28697]: 2003-07-15 13:42:52 19cQ4m-0007Ro-00 moved from input, msglog to Finput, Fmsglog

We have disabled the expression filter check and will wait to see if the problem reoccurs, however the customer will want this feature if we tell him they can't have it [:(]


Help ....  


This thread was automatically locked due to age.
Parents
  • 0
    I am having the exact same problem. 

    ASL 4.009 PII-233 384MB-RAM

    Code:
    USER       PID %CPU %MEM   VSZ  RSS TTY      STAT START   TIME COMMAND

    root         1  0.0  0.1  1316  488 ?        S    21:39   0:00 init [3] 

    root         2  0.0  0.0     0    0 ?        SW   21:39   0:00 [keventd]

    root         3  0.0  0.0     0    0 ?        SWN  21:39   0:04 [ksoftirqd_CPU0]

    root         4  0.0  0.0     0    0 ?        SW   21:39   0:00 [kswapd]

    root         5  0.0  0.0     0    0 ?        SW   21:39   0:00 [bdflush]

    root         6  0.0  0.0     0    0 ?        SW   21:39   0:00 [kupdated]

    root        11  0.0  0.0     0    0 ?        SW   21:39   0:00 [kjournald]

    root        41  0.0  0.0     0    0 ?        SW   21:40   0:00 [kjournald]

    root        42  0.0  0.0     0    0 ?        SW   21:40   0:00 [kjournald]

    root        43  0.0  0.0     0    0 ?        SW   21:40   0:00 [kjournald]

    root        44  0.0  0.0     0    0 ?        SW   21:40   0:00 [kjournald]

    root        45  0.0  0.0     0    0 ?        SW   21:40   0:00 [kjournald]

    root        46  0.0  0.0     0    0 ?        SW   21:40   0:00 [kjournald]

    root       171  0.0  0.1  1320  500 ?        RN   21:40   0:03 /usr/local/bin/ipaccd

    root       204  0.0  0.1  1576  652 ?        S    21:40   0:01 /usr/sbin/syslogd -m 60 -r -a /dev/log -a /var/chroot-ahi/dev/log -a /var/chroot-bind/dev/log -a /var/chroot-dhcpc/dev/log -a /var/chroot-dhcps/dev/log -a /var/chroot-ha/dev/log -a /var/chroot-identd/dev/log -a /var/chroot-ipsec/dev/log -a /var/chroot-pop3/dev/log -a /var/chroot-pppd/dev/log -a /var/chroot-pppoe/dev/log -a /var/chroot-pptp/dev/log -a /var/chroot-pptpc/dev/log -a /var/chroot-smtp/dev/log -a /var/chroot-snmp.mrtg/dev/log -a /var/chroot-socks/dev/log -a /var/chroot-squid/dev/log

    root       205  0.0  0.1  1392  540 ?        S    21:40   0:00 /usr/sbin/klogd -k /System.map -c 1

    root       254  0.0  0.0     0    0 ?        SW   21:40   0:00 [khubd]

    root       284  0.0  0.1  1372  580 ?        S    21:40   0:00 /usr/sbin/cron

    root       335  0.0  0.2  2368 1120 ?        S    21:40   0:01 /sbin/sshd -4 -f /etc/sshd_config

    nobody     339  0.0  0.3  2804 1416 ?        S    21:40   0:00 /usr/bin/perl -w /usr/sbin/psd-watch.pl

    root       343  0.0  0.1  1728  664 ?        S    21:40   0:00 /bin/license /etc/wfe/conf/license

    root       392  0.0  0.6  4800 2532 ?        S    21:40   0:01 /usr/sbin/httpd -f /etc/httpd/httpd.conf

    root       401  2.0  4.5 18676 17352 ?       S    21:40   1:32 ./mdw_deamon.pl

    wwwrun     411  0.0  0.6  4744 2508 ?        S    21:41   0:00 [httpd]

    wwwrun     412  0.0  0.7  5124 2932 ?        S    21:41   0:00 [httpd]

    root       421  0.0  1.2  6096 4836 ?        S    21:41   0:00 ./aua.bin /etc/wfe/conf/aua_main_config.ini

    root       443  0.0  0.0     0    0 ?        SW   21:41   0:00 [eth1]

    root       453  0.0  0.1  1300  468 ?        S    21:41   0:01 /usr/local/bin/daemon-watcher superdaemon.pl /usr/local/bin/superdaemon.pl & 5

    root       454  0.0  0.1  1284  380 tty1     S    21:41   0:00 /sbin/mingetty --no-hostname tty1

    root       455  0.0  0.1  1284  380 tty2     S    21:41   0:00 /sbin/mingetty --no-hostname tty2

    root       457  1.0  1.1  5584 4248 ?        S    21:41   0:48 /usr/local/bin/superdaemon.pl

    root       467  0.0  0.0     0    0 ?        SW   21:41   0:00 [eth0]

    root      1725  0.0  0.1  1684  568 ?        S    21:42   0:00 /bin/cnotifier /etc/wfe/conf/settings /usr/local/bin/anotifier /var/chroot-squid/var/run/notify /var/run/notify

    root      1740  0.0  0.5  3660 1912 ?        S    21:42   0:00 /usr/sbin/snmpd__

    root      1772  0.0  0.4  2848 1852 ?        S    21:42   0:01 /usr/sbin/named__

    squid     1788  0.0  0.2  3520 1036 ?        S    21:42   0:00 [exim]

    root      1812  0.0  0.2  3676  992 ?        S    21:42   0:00 /bin/squidf -sYD

    squid     1814  1.1  2.9 14072 11232 ?       S    21:42   0:52 [squidf]

    nobody    1816  0.0  0.1  1476  584 ?        S    21:42   0:00 [dhttpd]

    squid     1818  0.0  0.0  1280  328 ?        S    21:42   0:00 (unlinkd)

    squid     1819  0.0  0.3  5004 1296 ?        SN   21:42   0:00 /bin/urlfilter -f -d

    squid     1833  0.0  0.3  5004 1296 ?        SN   21:42   0:00 /bin/urlfilter -f -d

    squid     1834  0.0  0.3  5004 1296 ?        SN   21:42   0:00 /bin/urlfilter -f -d

    root      2220  0.0  0.3  2520 1492 ?        S    21:42   0:00 /usr/sbin/dhcpd__ -lf /var/state/dhcp/dhcpd.leases eth0

    root      2258  0.1  0.1  1424  616 ?        S    21:42   0:06 /usr/local/bin/nacctd

    root     11471  0.0  1.1  5392 4168 ?        S    21:56   0:00 /usr/local/httpd/htdocs/_log.pl live 1686476635354 access.log

    wwwrun   11473  0.0  0.7  5144 2924 ?        S    21:56   0:01 [httpd]

    root     12077  0.0  1.1  5392 4168 ?        S    21:59   0:00 /usr/local/httpd/htdocs/_log.pl live 1686476635354 access.log

    root     16437 15.2  0.6  3668 2276 ?        R    22:15   6:10 /usr/bin/perl /usr/local/bin/anotifier [Queue Manager] Forwarded email /var/chroot-smtp/spool/Finput/19HDWz-0001Rd-00 myemail@youdontknow.com

    root     16443 15.2  0.6  3668 2276 ?        R    22:15   6:10 /usr/bin/perl /usr/local/bin/anotifier [Queue Manager] Forwarded email /var/chroot-smtp/spool/Finput/19GrMp-00071X-00 myemail@youdontknow.com

    root     16445 15.2  0.6  3668 2276 ?        R    22:15   6:10 /usr/bin/perl /usr/local/bin/anotifier [Queue Manager] Forwarded email /var/chroot-smtp/spool/Finput/19GUVh-0002Ai-00 myemail@youdontknow.com

    root     16447 15.2  0.6  3668 2276 ?        R    22:15   6:10 /usr/bin/perl /usr/local/bin/anotifier [Queue Manager] Forwarded email /var/chroot-smtp/spool/Finput/19GCgr-0002bU-00 myemail@youdontknow.com

    root     16449 15.2  0.6  3668 2276 ?        R    22:15   6:10 /usr/bin/perl /usr/local/bin/anotifier [Queue Manager] Forwarded email /var/chroot-smtp/spool/Finput/19E9FQ-0004h7-00 myemail@youdontknow.com

    root     16716  0.0  0.1  1464  588 ?        S    22:16   0:00 /usr/local/sbin/pptpd

    wwwrun   25780  1.0  3.1 14328 11772 ?       S    22:36   0:11 /usr/local/httpd/htdocs/index.fpl

    root     26414  0.0  0.0     0    0 ?        Z    22:39   0:00 [aua.bin ]

    wwwrun   27812  0.0  0.7  5016 2840 ?        S    22:45   0:00 [httpd]

    wwwrun   27938  0.0  0.7  4924 2696 ?        S    22:46   0:00 [httpd]

    root     29501  0.2  0.4  5316 1616 ?        S    22:54   0:00 /sbin/sshd -4 -f /etc/sshd_config

    loginuse 29521  0.1  0.4  5336 1672 ?        S    22:54   0:00 [sshd]

    loginuse 29522  0.1  0.3  2196 1164 pts/0    S    22:54   0:00 -bash

    root     29613  0.0  0.1  1372  576 ?        S    22:55   0:00 /USR/SBIN/CRON

    root     29614  0.0  0.2  2076  864 ?        S    22:55   0:00 /bin/sh -c /usr/bin/chroot /var/chroot-snmp.mrtg /usr/bin/mrtg /etc/mrtg.cfg 2> /dev/null

    root     29616  9.8  1.4  6836 5552 ?        S    22:55   0:02 /usr/bin/perl /usr/bin/mrtg /etc/mrtg.cfg

    loginuse 29727  0.0  0.1  2500  704 pts/0    R    22:55   0:00 ps -aux

    root     29729  0.0  0.2  2072  852 ?        S    22:55   0:00 sh -c ps ax | grep " gpg " | grep -v grep

    root     29730  0.0  0.1  2500  672 ?        R    22:55   0:00 ps ax

    root     29731  0.0  0.1  1404  392 ?        S    22:55   0:00 grep  gpg 

    root     29732  0.0  0.1  1404  392 ?        S    22:55   0:00 grep -v grep

    root     29733  0.0  0.2  2072  848 ?        R    22:55   0:00 sh -c /bin/ps -eo ppid,stat, | /bin/grep 401 | /bin/grep -E  [^ZDT]

    root     29734  0.0  0.1  2276  652 ?        R    22:55   0:00 /usr/bin/rateup /var/mrtg/ sqmh 1058568918 -Z g -2 -2 100 c #f6ae8b #e65037 #f6ae8b #e65037 l [Memory hits in %] k 1000 i /var/mrtg/sqmh-day.png -100 -100 400 100 1 1 1 300 0 4 1

    root     29735  0.0  0.1  2432  404 ?        R    22:55   0:00 /bin/ps -eo ppid,stat,

    root     29736  0.0  0.2  2072  852 ?        R    22:55   0:00 sh -c /bin/ps -eo ppid,stat, | /bin/grep 401 | /bin/grep -E  [^ZDT]

    root     29737  0.0  0.2  2072  852 ?        R    22:55   0:00 sh -c /bin/ps -eo ppid,stat, | /bin/grep 401 | /bin/grep -E  [^ZDT]

    Any idea how to fix this or what to do anyone?!?!?

    Thanks,
    HAiRY
        
  • 0 in reply to HAiRYANiMAL
    I decided to reboot and that solved my problem with that.

    I dunno???? 
  • 0 in reply to HAiRYANiMAL
    steve_intuitive,

    the expression filter input box interprets so called Perl Compatible Regular Expressions (PCRE)
    if you want to filter out c.f.k.u  you'd have to put in c\.f\.k\.u [;)]
    A single dot '.' matches any character and this explains why the expression filter eats up that
    much CPU time.

    Searching the board for regular expressions would bring up some more articles regarding regexps.

    read you
    o|iver

      
  • 0 in reply to oliver.desch
    Continuing problems

    Despite following Oliver's advice, we decided to remove the regex from content filter. 

    This seemed to work for a week anyway, now we have a similar 'race' condition.  

    root     17835     1 79 Jul30 ?        R    2971:44 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/ch
    root     14504     1 24 06:11 ?        R    233:58 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chr
    root     14506     1 24 06:11 ?        R    233:58 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chr
    root     14508     1 24 06:11 ?        R    233:58 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chr

    ps -ef | grep 17835
    root     17835     1 79 Jul30 ?        01:31:50 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19hfAh-0005r5-00 xxxx@xxx.co.uk
    ps -ef | grep 14504
    root     14504     1 24 06:11 ?        03:54:10 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19iI1k-0006iJ-00 xxxx@xxx.co.uk
    ps -ef | grep 14506
    root     14506     1 24 06:11 ?        03:54:12 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19iFVb-0002sU-00 xxxx@xxx.co.uk
    ps -ef | grep 14508
    root     14508     1 24 06:11 ?        03:54:15 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19iDpg-0002lQ-00 xxxx@xxx.co.uk

    Again these emails do not exist in the spool directory.

    The SMTP Proxy logs show

    Aug  1 06:11:37 (none) exim[14443]: 2003-08-01 06:11:37 19iI1k-0006iJ-00 unfrozen by MailerDaemon
    Aug  1 06:11:38 (none) exim[14449]: 2003-08-01 06:11:38 19iI1k-0006iJ-00 => xxxx@xxxxx.co.uk R=static_1 T=remote_smtp H=192.168.2.250 [192.168.2.250]
    Aug  1 06:11:38 (none) exim[14449]: 2003-08-01 06:11:38 19iI1k-0006iJ-00 Completed

    Aug  1 06:11:38 (none) exim[14456]: 2003-08-01 06:11:38 19iFVb-0002sU-00 unfrozen by MailerDaemon
    Aug  1 06:11:38 (none) exim[14471]: 2003-08-01 06:11:38 19iFVb-0002sU-00 => xxx@xxx.co.uk R=static_1 T=remote_smtp H=192.168.2.250 [192.168.2.250]
    Aug  1 06:11:38 (none) exim[14471]: 2003-08-01 06:11:38 19iFVb-0002sU-00 Completed

    Aug  1 06:11:38 (none) exim[14467]: 2003-08-01 06:11:38 19iDpg-0002lQ-00 unfrozen by MailerDaemon
    Aug  1 06:11:43 (none) exim[14472]: 2003-08-01 06:11:43 19iDpg-0002lQ-00 => xxx@xxx.co.uk R=static_1 T=remote_smtp H=192.168.2.250 [192.168.2.250]
    Aug  1 06:11:43 (none) exim[14472]: 2003-08-01 06:11:43 19iDpg-0002lQ-00 -> xxx@xxx.co.uk R=static_1 T=remote_smtp H=192.168.2.250 [192.168.2.250]
    Aug  1 06:11:43 (none) exim[14472]: 2003-08-01 06:11:43 19iDpg-0002lQ-00 Completed


    The customer is now losing all faith in Astaro and is reporting that some emails are not reaching him. We need to resolve these problems with Astaro/Exim or the customer will not be renewing their up2date/virus license  [:(]

      
Reply
  • 0 in reply to oliver.desch
    Continuing problems

    Despite following Oliver's advice, we decided to remove the regex from content filter. 

    This seemed to work for a week anyway, now we have a similar 'race' condition.  

    root     17835     1 79 Jul30 ?        R    2971:44 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/ch
    root     14504     1 24 06:11 ?        R    233:58 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chr
    root     14506     1 24 06:11 ?        R    233:58 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chr
    root     14508     1 24 06:11 ?        R    233:58 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chr

    ps -ef | grep 17835
    root     17835     1 79 Jul30 ?        01:31:50 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19hfAh-0005r5-00 xxxx@xxx.co.uk
    ps -ef | grep 14504
    root     14504     1 24 06:11 ?        03:54:10 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19iI1k-0006iJ-00 xxxx@xxx.co.uk
    ps -ef | grep 14506
    root     14506     1 24 06:11 ?        03:54:12 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19iFVb-0002sU-00 xxxx@xxx.co.uk
    ps -ef | grep 14508
    root     14508     1 24 06:11 ?        03:54:15 /usr/bin/perl /usr/local/bin/anotifier [Content Manager] Forwarded email /var/chroot-smtp/spool/input/19iDpg-0002lQ-00 xxxx@xxx.co.uk

    Again these emails do not exist in the spool directory.

    The SMTP Proxy logs show

    Aug  1 06:11:37 (none) exim[14443]: 2003-08-01 06:11:37 19iI1k-0006iJ-00 unfrozen by MailerDaemon
    Aug  1 06:11:38 (none) exim[14449]: 2003-08-01 06:11:38 19iI1k-0006iJ-00 => xxxx@xxxxx.co.uk R=static_1 T=remote_smtp H=192.168.2.250 [192.168.2.250]
    Aug  1 06:11:38 (none) exim[14449]: 2003-08-01 06:11:38 19iI1k-0006iJ-00 Completed

    Aug  1 06:11:38 (none) exim[14456]: 2003-08-01 06:11:38 19iFVb-0002sU-00 unfrozen by MailerDaemon
    Aug  1 06:11:38 (none) exim[14471]: 2003-08-01 06:11:38 19iFVb-0002sU-00 => xxx@xxx.co.uk R=static_1 T=remote_smtp H=192.168.2.250 [192.168.2.250]
    Aug  1 06:11:38 (none) exim[14471]: 2003-08-01 06:11:38 19iFVb-0002sU-00 Completed

    Aug  1 06:11:38 (none) exim[14467]: 2003-08-01 06:11:38 19iDpg-0002lQ-00 unfrozen by MailerDaemon
    Aug  1 06:11:43 (none) exim[14472]: 2003-08-01 06:11:43 19iDpg-0002lQ-00 => xxx@xxx.co.uk R=static_1 T=remote_smtp H=192.168.2.250 [192.168.2.250]
    Aug  1 06:11:43 (none) exim[14472]: 2003-08-01 06:11:43 19iDpg-0002lQ-00 -> xxx@xxx.co.uk R=static_1 T=remote_smtp H=192.168.2.250 [192.168.2.250]
    Aug  1 06:11:43 (none) exim[14472]: 2003-08-01 06:11:43 19iDpg-0002lQ-00 Completed


    The customer is now losing all faith in Astaro and is reporting that some emails are not reaching him. We need to resolve these problems with Astaro/Exim or the customer will not be renewing their up2date/virus license  [:(]

      
Children
No Data