Guest User!

You are not Sophos Staff.

[8.970] UTM9 Beta Performance Tweak

I've noticed that UTM9 just isn't up to par with what i'm going to call UTM8.  I've also noticed a ton of swapping being used even with vm.swappiness=0 set.  even with 3 gigs of ram installed I was still swapping 25% even though the system was caching more than 25% of physical ram.  I've seen this before in older kernels.  Back in 2.4 I filed a bug with centos and by extension redhat about a similar problem...it was later fixed in the next kernel patch.  

I decided to try something..something i did back in the 2.4x days....I disabled swap entirely.  I now have the latest beta running with 3 gigs of ram and zero swap(swapoff -a).  I've had this running for 24 hours:

 free
             total       used       free     shared    buffers     cached
Mem:       3087332    2730288     357044          0      94552     769160
-/+ buffers/cache:    1866576    1220756
Swap:            0          0          0

Within 24 hours i would have 10% swap...within 36 hours i would have 25% swap.  There's no reason for a system that is under ZERO memory pressure to be swapping to disk at a rate of 25% or higher when more than 30% of physical ram is unused.  I could go digging into the kernel deeper to find out why this is occurring but this is a development problem..not a partner/user problem.  V8 does NOT display this behavior.  I've noticed this since the first beta of UTM9.  I'm curious how many other performance regressions I've found might be addressed?  The testing begins..[:)]
  • Hi Bob,

    ... Astaro memory, continually repeating the rant does not help me at all


    I didn't had the impression that William abuses this thread for a rant regarding memory consumption, but I see your point. I am waiting for something tangible too.

    ... degenerated into posts of no value at all.


    I feel a little guilty here, since I'm the one who went Off-Topic. Sorry for that, but that's part of my job as a beta-guy here, and since I don't do this very often...

    Cheers,
    Kai
  • @William:

    just to check whether you have a real performance problem because of swap usage, may I suggest that you run the command below, wait for 24 hours for the command to complete and then take a look at the [FONT="Courier New"]/tmp/vmstat.txt[/FONT] file? While waiting, please log out from the SSH shell, and don't use the webadmin to constantly look at your memory. 

     nohup vmstat -n 179 482 /tmp/vmstat.txt 2>&1 & 



    A short explanation for the rest of you guys following this thread. Let me first quote some text from the `vmstat` manual page: 
    vmstat  reports  information about processes, memory, paging, block IO, traps, disks and cpu activity


    So, the command `vmstat 179 482` above prints one line of statistics every ~3 minutes into a file named /tmp/vmstat.txt. It does so 482 times, which is ~ 24 hours. The `nohup` and all the other stuff are just to make sure that the process runs in the background, even after you close your SSH session and log out.

    Cheers,
    Kai
  • @William:

    just to check whether you have a real performance problem because of swap usage, may I suggest that you run the command below, wait for 24 hours for the command to complete and then take a look at the [FONT="Courier New"]/tmp/vmstat.txt[/FONT] file? While waiting, please log out from the SSH shell, and don't use the webadmin to constantly look at your memory. 

     nohup vmstat -n 179 482 /tmp/vmstat.txt 2>&1 & 



    A short explanation for the rest of you guys following this thread. Let me first quote some text from the `vmstat` manual page: 

    So, the command `vmstat 179 482` above prints one line of statistics every ~3 minutes into a file named /tmp/vmstat.txt. It does so 482 times, which is ~ 24 hours. The `nohup` and all the other stuff are just to make sure that the process runs in the background, even after you close your SSH session and log out.

    Cheers,
    Kai


    i don't use webadmin to check memory..i use ssh only..[:)]  I'm not saying i'm having performance problems now..but you will.  since v9 has been soft-released i've terminated my testing.  Let's lock this thread now and we'll see if when these appliances start 1. being sold with v9 or 2. begin getting upgraded if the issues come forth or not.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • ....Whilst it is obvious that William has a bee in his bonnet as regards Astaro memory, continually repeating the rant ...has degenerated into posts of no value at all.

    Since the thread is so far away from the original point, I will add my two cents. Astaro and William have problems for a while with the way astaro kernel is tuned. I fine tune my installation quite a bit by adding a few cron jobs to make my box perform the way I like it to perform. William is making a case for the larger public and there is nothing wrong with healthy discussion even if both parties don't see eye to eye. 

    I have gotten into heated debates before with William but his heart is in the right place. A prime example is his persistence about the http proxy timeouts. While most of us experienced minor problems during certain beta releases and a lot of folks were not affected at all, he pushed astaro for a fix. 

    I feel the same way about the swap problem. I am running astaro in a vm and can add memory on the fly with every version. Thats the nature of software these days.... newer hardware is capable of running more sophisticated software and that software takes more processing power and memory. I don't see anything wrong with a senior member pushing for something that he feels would benefit the community or his own installations. That is what beta and as a matter of fact this forum is all about.

    Angelo and Kai have provided good responses to William's specific points and whilst we will all be waiting to see how things turn out with the release of UTM 9, until then I'd prefer to get on with managing the Astaro installations I am responsible for.
    That is great and if you are happy with their responses, by all means manage your appliances the way you like. For the rest of us, we are OK with someone pushing astaro in a way that keeps them on their toes even if the debate looks like rants to some folks[8-)]

    Regards
    Bill
  • I will submit my "nohup vmstat -n 179 482 /tmp/vmstat.txt 2>&1 &" file, if it adds value to seeing useage.

    Mark
  • ... if it adds value to seeing useage.


    Well, I'm not interested in the swap usage column of the output, I'm interested in the si/so columns, as they show how often the system did swap memory in the three minute period. A system under memory pressure would show high numbers in there constantly. A system that's mostly idle shows mostly zeros and low numbers every now and then.

    Cheers,
    Kai
  • Look folks astaro has decided swapping is normal now...basically it is a real time nearly non volitile /tmp.  Let it be until this newest release is put out and we will see if what I think is going to happen does in fact occur.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • I installed my own licence key, which strangely after reloading key dropped Ram/Swap usage by about 25%.
    Here is the vmstat file.
    Normally after 1 days usage I would be seeing swap usage up towards 75%.
    After my licence key load this has reached 50% after 24h.

    This is a dual cpu zeon 2.3 CPU intel Server MB 6Gb fitted 3.8Gb recognised Ram Raid 1 SCSI 320 HDD disk sub system & 6 nic.

    1 user.

    Mark
    vmstat.zip
  • I would highly recommend reinstalling with 64 bit to get your ram properly enumerated...[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • Look folks astaro has decided swapping is normal now...


    I really don't like the way you are trying to put us into a bad light...

    How about trying to run vmstat for 24 hours and actually providing some facts, instead of just nagging around...? Give me some hard numbers I can act on and I'll do take a look at it. Just repeating "I'm feeling bloated" over and over again isn't enough, because I do not have a magic crystal ball that tells me the reason of your problem. I depend on you providing facts.

    Don't get me wrong, I'm not trying to say that you are not allowed to express your feelings here. You may say whatever you want, we don't censor it, even when you criticize us or our products. You are allowed and encouraged to disagree with us, because, hey, you are the customer and we need you and your feedback. All I ask you to do is to give me something "real", something that I can dig into. And since swapping happens over time, a single snapshot isn't enough.

    Cheers,
    Kai