Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 97 replies
  • Subscribers 0 subscribers
  • Views 43859 views
  • Users 0 members are here
Options
Suggested

[8.970] UTM9 Beta Performance Tweak

William Warren
I've noticed that UTM9 just isn't up to par with what i'm going to call UTM8.  I've also noticed a ton of swapping being used even with vm.swappiness=0 set.  even with 3 gigs of ram installed I was still swapping 25% even though the system was caching more than 25% of physical ram.  I've seen this before in older kernels.  Back in 2.4 I filed a bug with centos and by extension redhat about a similar problem...it was later fixed in the next kernel patch.  

I decided to try something..something i did back in the 2.4x days....I disabled swap entirely.  I now have the latest beta running with 3 gigs of ram and zero swap(swapoff -a).  I've had this running for 24 hours:

 free
             total       used       free     shared    buffers     cached
Mem:       3087332    2730288     357044          0      94552     769160
-/+ buffers/cache:    1866576    1220756
Swap:            0          0          0

Within 24 hours i would have 10% swap...within 36 hours i would have 25% swap.  There's no reason for a system that is under ZERO memory pressure to be swapping to disk at a rate of 25% or higher when more than 30% of physical ram is unused.  I could go digging into the kernel deeper to find out why this is occurring but this is a development problem..not a partner/user problem.  V8 does NOT display this behavior.  I've noticed this since the first beta of UTM9.  I'm curious how many other performance regressions I've found might be addressed?  The testing begins..[:)]
  • 0 in reply to William Warren
    ... I have no idea if the cache is ram based or disk based.


    That's easy answered: it's disk based. See [FONT="Courier New"]/var/storage/chroot-http/var/httpcache[/FONT], but please don't mess around there....

    Cheers,
    Kai
  • 0 in reply to William Warren
    Ok i've seen where astaro has the default swappiness to 30...i'm going to return to that value and see what happens now.

    I believe with the release of RC1, your message has been received William, and they have tuned the kernel. That is great news because up until now, astaro folks have mostly focused on security and have always defended or denied the performance issues. I use debian a lot for media server apps and if you put swappiness at zero, it is almost impossible to make the kernel swap, however astaro behaved quite differently even with swappiness at zero. I think they have fixed that and I for one am grateful.

    Also, I think the cloud based database has matured enough that it is almost not worth it running the local content database. My before and after are below

    Local content filter database turned on astaro v8.970 

    gatekeeper:/home/login # free -m

                 total       used       free     shared    buffers     cached

    Mem:          2454       2054        399          0        227        798

    -/+ buffers/cache:       1028       1425

    Swap:         1023         10       1013

    gatekeeper:/home/login # uptime

     18:37pm  up 3 days  6:16,  1 user,  load average: 0.03, 0.15, 0.17

    Local content database turned off on RC1 
    gatekeeper:/var/log # free -m

                 total       used       free     shared    buffers     cached

    Mem:          2454       1547        906          0        208        673

    -/+ buffers/cache:        665       1788

    Swap:         1023          0       1023

    gatekeeper:/var/log # uptime

     11:20am  up  21:33,  1 user,  load average: 0.02, 0.13, 0.19


    Regards
    Bill
  • 0
    nods..i'm using all of 1% swap now even at swappiness=30.  The cloudy isn't as fast as the desk or ram based(never will be..it simply can't) but at least for most clients it should be acceptable....however i DO think the devs should see why the ram option is spiking the swap to enormous levels.  For folks on low bandwidth connections(i have clients on slow dsl and trust me the local db is a godsend)...it should be able to be run with sufficient ram(say 3-4 gigs) without pegging the swap.  I think the http proxy is set to use only x amount of ram no matter what before it swaps..that's just a guess...[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    Actually i've not tested one configuration and that's the disk option...let's see what that does..[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    The resource consumption actually improved in RC1. [:D] 


    loginuser@UTM120:/home/login > free -m

                 total       used       free     shared    buffers     cached

    Mem:           993        821        172          0        102        182

    -/+ buffers/cache:        535        458

    Swap:         1023         15       1008

    

    loginuser@UTM120:/home/login > uptime

     17:50pm  up  19:27,  1 user,  load average: 0.81, 1.01, 0.74
  • 0 in reply to Siarom
    The resource consumption actually improved in RC1. [:D] 


    loginuser@UTM120:/home/login > free -m

                 total       used       free     shared    buffers     cached

    Mem:           993        821        172          0        102        182

    -/+ buffers/cache:        535        458

    Swap:         1023         15       1008

    

    loginuser@UTM120:/home/login > uptime

     17:50pm  up  19:27,  1 user,  load average: 0.81, 1.01, 0.74


    are you using cloudy http proxy or mem or disk?

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0 in reply to William Warren
    are you using cloudy http proxy or mem or disk?


    yes, using http proxy+ip+ipv6
  • 0
    no which http proxy mode..cloudy(default) disk or mem?

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    the swap is steadily climbing in disk mode as well.  I'm up to 10% now..pushing acceptable limits.  So you can get the best http proxy speed but your swap is going to surge through the roof...or use cloudy and take a performance hit and not have climbing swap.  I'm wondering why this is going on?

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    ok i have been running disk for a few days and the swap is still creeping up.  it was up to 20%..which is not acceptable.  heading to cloudy and will report back.  if swap continues to climb then Houston we are going to have problems.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Unfiltered HTML