Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 3 replies
  • Subscribers 3 subscribers
  • Views 784 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

[WAR 101] System load too high - please check

Sparky
I have been getting this message(full message at the end of this post) from our firewall at random intervals. It does not correspond with our periods of heavy usage. When one message is sent I usually receive 3 or 4 more after it. The system load number has been in the range of 4.61 to 5.06. I am not sure exactly what load that is referring to though. In the last round of messages, the first range said that my active IP count was 86 protected IP’s and the following messages stated “Counter Error - please contact your vendor or support!” I have made one change to the squid.conf-default due to problems uploading files over 1MB using HTTP. I described this in another post. https://community.sophos.com/products/unified-threat-management/astaroorg/f/107/t/70011
These messages started the day after making these changes. We ran almost 12 hours with this config before the error started occurring. If anyone thinks that this may be the cause of the problem do you have any other ideas how we can fix this 1MB upload problem?  This is a heavily used firewall content filter both during our hours of operation and after. Many of our staff dial in to us and use us for their ISP, and so I have very limited flexibility in testing. I have set up an additional server, but I know of no way to simulate the load that the box normally gets. It is a pretty beefy box with 2GB of ram, 2.4ghz Xeon processor(if memory serves) and mirrored 24GB scsi HD’s. We also are connected to the internet by a T3 running at 12Mb. Under normal operation the only thing that ever seems to run high is the CPU utilization. It has reached 98% but normally runs between 48% to 70%. It used to run much lower with version 4.09, but Astaro has advised us to upgrade to fix other problems.  https://community.sophos.com/products/unified-threat-management/astaroorg/f/54/t/39885 Sorry, I know I included a lot in this email but I wanted to make sure I was comprehensive in my description of the problem.

Last WebAdmin login: admin at Tue Dec 23 08:54:48 from (internal address) 
System Uptime      : 10 days 7 hours 29 minutes
System Load        : 5.06
System Version     : Astaro Security Linux  4.017
License            : Enterprise Gigabit Version     
Active IP Count    : 86 protected IPs

Please refer to the manual for detailed instructions. 


This thread was automatically locked due to age.
  • 0
    For those really large-style installations, the logfiles for the HTTP proxy certainly can get huge. Even a 10 meg  gzipped text file usually extracts to well over 200 megabytes, which is a lot of crunching to do. You might try to simply get a syslog server to handle the storage of the logfiles, then crunch them with something like Webtrends or other reporting software located again, off the firewall itself.

    Then, since usage of a syslog server doesn't stop the logs from being created onthe astaro, you could then edit the crontab of that box (the daemon which controls the timed process) and set it to delete the http proxy logs instead  of crunching them, so that way the http proxy logs would always be killed off the box, and still be safely transferred to the syslog server where then yo ucould do what you need to for reporting. I'd delete the daily log from the astaro around 11:50pm every day. just do it in /etc/crontab with an entry like this:


    50 23 * * *       root    rm -f /var/chroot-squid/logs/access.log


    This will then delete the log before it is archived and moved to /var/logs and the astaro will never try to "crunch it". Just be sure you have the syslog setup and verfiy your logs are going over there, otherwise you might lose data. You could also use SCP (secure copy) to move the logfiles you need off the astaro, then do your housekeeping to cut down on crunch load on that device.

     
  • 0 in reply to venom
    Thank you. I will look into this. I have heard of using a syslog server for a couple different things, but haven't l yet tried it out yet. 
  • 0
    regarding the counter error please refer the known issues list @ docs.astaro.org - a non critical wrong error message.

    Try to zap the cache and disable caching for testing purposes. An average load of 48-70% doesn't seem to be normal on such a type of machine and Internet connection. 

    You could download and copy the tool package from http://docs.astaro.org/older_versions/ASL-V3.2/docs_v3/hacking/ , it contains 'top'. Maybe you are able to identify the processes eating up your CPU time.

    Greetings
    cyclops