Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 8 replies
  • Subscribers 2 subscribers
  • Views 731 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

ASG about to crash or go into overload

RFCat_vk_01
The idle CPU has slowly increased from about 1% to 5%, memory has slowly increased from 50% to 75% with swap going to 20%.
 
There hasn't any configuration changes done since Wednesday last week except for pattern updates.
 
Normally the memory usage drops off at odd hours by about 10-15%, swap sits at about 1-5% and CPU less than 1%.
 
Hopefully this won't happen until I get home from my holiday and can look at the logs to see what is happening. I haven't found anything in the logs in the past, but the event usually happens within one day, not a slow build up like now.
 
Ian M
 
Todays report shows the CPU went to 100% at midnight, something triggered a high load. Memory is still runing just over 75% and swap is over 20%. Log file partion was at about 75%, but just recieved a message advising it is now 90%, not bad on a 160gb hard disk. The ASG will be running quite hot having been at 100% for over 24 hours.

I am not at home to have a look and will have to get the ASG rebooted later in the day Melbourne time.

At least this time I have a logfile to review and maybe identify what ever it is/was that is causing these problems.

I can't login remotely, because I wasn't sure of the address I would be coming from.

Ian M

I am suprised my family hasn't screamed. This implies that the ASG is doing its other functions without reasonably well under full load.


This thread was automatically locked due to age.
Parents
  • 0
    You should be able to look at the process list to figure out what is using all your memory.
  • 0 in reply to drees
    Linux memory utilization going to 90% or higher is perfectly normal as that is the linux kernel caching things for retrieval from memory instead of disk.  Astaro's predilection to swapping however bothers me.  If i was running Astaro i would set vm.swappiness to zero instead of the apparent default of 60.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0 in reply to William Warren
    drees,
    in the past when this has happened I haven't been able to logon either by webadmin or console. The log files show nothing out of the ordinary other than some are missing recent updates.
     
    Ian M
  • 0 in reply to RFCat_vk_01
    I can't think of any "normal" usage that would put the log partition to 90% on a 160GB disk in that short time. Please try and check for the largest usage consumption, e.g. start out at /var/log and do "du -hc --max-depth=1", then see what the largest directory is, go down there, issue command again, until you reach the point where so much data is stored.

    Cheers,
     andreas
  • 0 in reply to andreas
    Andreas,
    log partition is 57gb and 100% utilised. Admin notifier is currently 34mb and has stopped growing since I logged onto the firewall. I changed the logfile settings  to delete files at 85% instead of warn, but didn't change the other 2 settings.

    2 processes using lots of CPU
    notifier 36.6%
    syslog -ng -g 38.9%

    I want to reboot the ASG but the users are rebelling at 0005 my time.

    Log entries, I haven't examined the whole log yet, that will have to wait until I get home from work tonight.

    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:

    Ian M

    I made some config changes to the time definitions before midnight to allow a user access after midnight.
      [/FONT]
  • 0 in reply to RFCat_vk_01
    Andreas,
    log partition is 57gb and 100% utilised. Admin notifier is currently 34mb and has stopped growing since I logged onto the firewall. I changed the logfile settings  to delete files at 85% instead of warn, but didn't change the other 2 settings.

    2 processes using lots of CPU
    notifier 36.6%
    syslog -ng -g 38.9%

    I want to reboot the ASG but the users are rebelling at 0005 my time.

    Log entries, I haven't examined the whole log yet, that will have to wait until I get home from work tonight.

    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:  [/FONT]
    [FONT=monospace]2007:03:15-00:01:29 fw-on-house notifier[8829]:  WARN: syslogparser:[[[[:P]]]]arseSyslogMessage: error parsing line:

    Ian M

    I made some config changes to the time definitions before midnight to allow a user access after midnight.
      [/FONT]


    Had this a couple of times.

    It seems, that when the log rotate start, something goes wrong real bad. Normaly there was one real large file in the http_access log directory.

    Astaro thought it to be the hardware. But it seems to occure on all kind of systems now.
  • 0 in reply to NimmdirKeks
    Strange thing, this looks like the syslog and the notifier are somehow looping. Try issuing an "/etc/init.d/syslogng restart" on the command line to stop the loop ...
  • 0 in reply to andreas
    Andreas,
    I had to reboot it to stop the log file filling.

    Next issue tonight is to find which file is filling the log file as I am still getting messages advising logfile 100% full. I have changed the delete setting to 20 days and set the 3 levels to delete and 6 hours later the messages are still rolling in about 1 an hour.

    Ian M
Reply
  • 0 in reply to andreas
    Andreas,
    I had to reboot it to stop the log file filling.

    Next issue tonight is to find which file is filling the log file as I am still getting messages advising logfile 100% full. I have changed the delete setting to 20 days and set the 3 levels to delete and 6 hours later the messages are still rolling in about 1 an hour.

    Ian M
Children
No Data
Cookie Information Banner