Guest User!

You are not Sophos Staff.

[8.970] UTM9 Beta Performance Tweak

I've noticed that UTM9 just isn't up to par with what i'm going to call UTM8.  I've also noticed a ton of swapping being used even with vm.swappiness=0 set.  even with 3 gigs of ram installed I was still swapping 25% even though the system was caching more than 25% of physical ram.  I've seen this before in older kernels.  Back in 2.4 I filed a bug with centos and by extension redhat about a similar problem...it was later fixed in the next kernel patch.  

I decided to try something..something i did back in the 2.4x days....I disabled swap entirely.  I now have the latest beta running with 3 gigs of ram and zero swap(swapoff -a).  I've had this running for 24 hours:

 free
             total       used       free     shared    buffers     cached
Mem:       3087332    2730288     357044          0      94552     769160
-/+ buffers/cache:    1866576    1220756
Swap:            0          0          0

Within 24 hours i would have 10% swap...within 36 hours i would have 25% swap.  There's no reason for a system that is under ZERO memory pressure to be swapping to disk at a rate of 25% or higher when more than 30% of physical ram is unused.  I could go digging into the kernel deeper to find out why this is occurring but this is a development problem..not a partner/user problem.  V8 does NOT display this behavior.  I've noticed this since the first beta of UTM9.  I'm curious how many other performance regressions I've found might be addressed?  The testing begins..[:)]
Parents
  • Not to discount your findings, however we simply have to agree to disagree as to your performance assessments and swap usage positions. There is by no means a line-up of partners complaining of performance, and the worldwide figures for support and performance cases are at the lowest they have ever been. If you have detailed traces from affected boxes which are overloaded and experience slowness at your customers, you should share them for analysis, and/or if not you should open a support ticket for customer installations to allow an engineer to examine the problem so they can solve it for you.

    I cannot speak as to why your virtual environment is causing usages which are unacceptable to you, as I have no idea how you have those platforms configured nor all the details as to all the specifications. I can however speak as to my own experiences with several test machines and production boxes I am responsible for of course, and they nowhere come anywhere close to mirroring your own with usages and "troubles". 

    The reason for my "nonchalant" attitude is that the global picture across thousands of installations just doesn't paint the same picture you've brought up here almost continually over the past months. Of course you may be right and UTM 9 will massively spike our support, however there are almost no indicators we've missed the mark here, so again, I hope we can prove you wrong come production time. 

    About your lead example, boxes with more memory will allocate more swap, as again we've discussed at length. If 4gb is the minimum you feel is required, by all means feel free to deploy that amount to your customers and don't use our appliances, this is why we offer the choice of course for virtual (officially supported for VMware but Xen and many others work just fine), hardware or software appliances.
  • Not to discount your findings, however we simply have to agree to disagree as to your performance assessments and swap usage positions. There is by no means a line-up of partners complaining of performance, and the worldwide figures for support and performance cases are at the lowest they have ever been. If you have detailed traces from affected boxes which are overloaded and experience slowness at your customers, you should share them for analysis, and/or if not you should open a support ticket for customer installations to allow an engineer to examine the problem so they can solve it for you.

    I cannot speak as to why your virtual environment is causing usages which are unacceptable to you, as I have no idea how you have those platforms configured nor all the details as to all the specifications. I can however speak as to my own experiences with several test machines and production boxes I am responsible for of course, and they nowhere come anywhere close to mirroring your own with usages and "troubles". 

    The reason for my "nonchalant" attitude is that the global picture across thousands of installations just doesn't paint the same picture you've brought up here almost continually over the past months. Of course you may be right and UTM 9 will massively spike our support, however there are almost no indicators we've missed the mark here, so again, I hope we can prove you wrong come production time. 

    About your lead example, boxes with more memory will allocate more swap, as again we've discussed at length. If 4gb is the minimum you feel is required, by all means feel free to deploy that amount to your customers and don't use our appliances, this is why we offer the choice of course for virtual (officially supported for VMware but Xen and many others work just fine), hardware or software appliances.


    my vm config is available at the link in my sig.  The host specs are there as well.  it is not only my vm setup that is swapping madly there are two examples of pegging swap on physical machines as well..one not three or so posts up from our exchange.  So please don't say it's just me when there's examples of physical installs having this behavior as well.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Reply
  • Not to discount your findings, however we simply have to agree to disagree as to your performance assessments and swap usage positions. There is by no means a line-up of partners complaining of performance, and the worldwide figures for support and performance cases are at the lowest they have ever been. If you have detailed traces from affected boxes which are overloaded and experience slowness at your customers, you should share them for analysis, and/or if not you should open a support ticket for customer installations to allow an engineer to examine the problem so they can solve it for you.

    I cannot speak as to why your virtual environment is causing usages which are unacceptable to you, as I have no idea how you have those platforms configured nor all the details as to all the specifications. I can however speak as to my own experiences with several test machines and production boxes I am responsible for of course, and they nowhere come anywhere close to mirroring your own with usages and "troubles". 

    The reason for my "nonchalant" attitude is that the global picture across thousands of installations just doesn't paint the same picture you've brought up here almost continually over the past months. Of course you may be right and UTM 9 will massively spike our support, however there are almost no indicators we've missed the mark here, so again, I hope we can prove you wrong come production time. 

    About your lead example, boxes with more memory will allocate more swap, as again we've discussed at length. If 4gb is the minimum you feel is required, by all means feel free to deploy that amount to your customers and don't use our appliances, this is why we offer the choice of course for virtual (officially supported for VMware but Xen and many others work just fine), hardware or software appliances.


    my vm config is available at the link in my sig.  The host specs are there as well.  it is not only my vm setup that is swapping madly there are two examples of pegging swap on physical machines as well..one not three or so posts up from our exchange.  So please don't say it's just me when there's examples of physical installs having this behavior as well.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Children
  • Hi William,

    my vm config is available at the link in my signature. ...


    sorry for being OT, but:


    • your signature is stored only once (with your user profile) on the UBB
    • it is NOT stored with every post
    • as soon as you change your sig, the old information is lost forever
    • so, if you ever update your VM host, we have no way to tell what your configuration was
    • that's why I insist on users putting their specs in the post, to have it available in the context of the thread, even after years and many major releases


    Additionally, Users can turn off avatars and signatures in their UBB preferences. So you make them (well, at least you make me) jump through some loops to get information that you should have provided with the post.

    That's my 2c on why specs in signatures are a bad idea.

    Cheers,
    Kai