Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 8 replies
  • Subscribers 2 subscribers
  • Views 733 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

ASG about to crash or go into overload

RFCat_vk_01
The idle CPU has slowly increased from about 1% to 5%, memory has slowly increased from 50% to 75% with swap going to 20%.
 
There hasn't any configuration changes done since Wednesday last week except for pattern updates.
 
Normally the memory usage drops off at odd hours by about 10-15%, swap sits at about 1-5% and CPU less than 1%.
 
Hopefully this won't happen until I get home from my holiday and can look at the logs to see what is happening. I haven't found anything in the logs in the past, but the event usually happens within one day, not a slow build up like now.
 
Ian M
 
Todays report shows the CPU went to 100% at midnight, something triggered a high load. Memory is still runing just over 75% and swap is over 20%. Log file partion was at about 75%, but just recieved a message advising it is now 90%, not bad on a 160gb hard disk. The ASG will be running quite hot having been at 100% for over 24 hours.

I am not at home to have a look and will have to get the ASG rebooted later in the day Melbourne time.

At least this time I have a logfile to review and maybe identify what ever it is/was that is causing these problems.

I can't login remotely, because I wasn't sure of the address I would be coming from.

Ian M

I am suprised my family hasn't screamed. This implies that the ASG is doing its other functions without reasonably well under full load.


This thread was automatically locked due to age.
Parents Reply Children
  • 0 in reply to drees
    Linux memory utilization going to 90% or higher is perfectly normal as that is the linux kernel caching things for retrieval from memory instead of disk.  Astaro's predilection to swapping however bothers me.  If i was running Astaro i would set vm.swappiness to zero instead of the apparent default of 60.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0 in reply to William Warren
    drees,
    in the past when this has happened I haven't been able to logon either by webadmin or console. The log files show nothing out of the ordinary other than some are missing recent updates.
     
    Ian M
  • 0 in reply to RFCat_vk_01
    I can't think of any "normal" usage that would put the log partition to 90% on a 160GB disk in that short time. Please try and check for the largest usage consumption, e.g. start out at /var/log and do "du -hc --max-depth=1", then see what the largest directory is, go down there, issue command again, until you reach the point where so much data is stored.

    Cheers,
     andreas
  • 0 in reply to andreas
    Andreas,
    log partition is 57gb and 100% utilised. Admin notifier is currently 34mb and has stopped growing since I logged onto the firewall. I changed the logfile settings  to delete files at 85% instead of warn, but didn't change the other 2 settings.

    2 processes using lots of CPU
    notifier 36.6%
    syslog -ng -g 38.9%

    I want to reboot the ASG but the users are rebelling at 0005 my time.

    Log entries, I haven't examined the whole log yet, that will have to wait until I get home from work tonight.

    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:

    Ian M

    I made some config changes to the time definitions before midnight to allow a user access after midnight.
      [/FONT]
  • 0 in reply to RFCat_vk_01
    Andreas,
    log partition is 57gb and 100% utilised. Admin notifier is currently 34mb and has stopped growing since I logged onto the firewall. I changed the logfile settings  to delete files at 85% instead of warn, but didn't change the other 2 settings.

    2 processes using lots of CPU
    notifier 36.6%
    syslog -ng -g 38.9%

    I want to reboot the ASG but the users are rebelling at 0005 my time.

    Log entries, I haven't examined the whole log yet, that will have to wait until I get home from work tonight.

    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:

    Ian M

    I made some config changes to the time definitions before midnight to allow a user access after midnight.
      [/FONT]


    Had this a couple of times.

    It seems, that when the log rotate start, something goes wrong real bad. Normaly there was one real large file in the http_access log directory.

    Astaro thought it to be the hardware. But it seems to occure on all kind of systems now.
  • 0 in reply to NimmdirKeks
    Strange thing, this looks like the syslog and the notifier are somehow looping. Try issuing an "/etc/init.d/syslogng restart" on the command line to stop the loop ...
  • 0 in reply to andreas
    Andreas,
    I had to reboot it to stop the log file filling.

    Next issue tonight is to find which file is filling the log file as I am still getting messages advising logfile 100% full. I have changed the delete setting to 20 days and set the 3 levels to delete and 6 hours later the messages are still rolling in about 1 an hour.

    Ian M
Cookie Information Banner