Guest User!

You are not Sophos Staff.

[8.970] UTM9 Beta Performance Tweak

I've noticed that UTM9 just isn't up to par with what i'm going to call UTM8.  I've also noticed a ton of swapping being used even with vm.swappiness=0 set.  even with 3 gigs of ram installed I was still swapping 25% even though the system was caching more than 25% of physical ram.  I've seen this before in older kernels.  Back in 2.4 I filed a bug with centos and by extension redhat about a similar problem...it was later fixed in the next kernel patch.  

I decided to try something..something i did back in the 2.4x days....I disabled swap entirely.  I now have the latest beta running with 3 gigs of ram and zero swap(swapoff -a).  I've had this running for 24 hours:

 free
             total       used       free     shared    buffers     cached
Mem:       3087332    2730288     357044          0      94552     769160
-/+ buffers/cache:    1866576    1220756
Swap:            0          0          0

Within 24 hours i would have 10% swap...within 36 hours i would have 25% swap.  There's no reason for a system that is under ZERO memory pressure to be swapping to disk at a rate of 25% or higher when more than 30% of physical ram is unused.  I could go digging into the kernel deeper to find out why this is occurring but this is a development problem..not a partner/user problem.  V8 does NOT display this behavior.  I've noticed this since the first beta of UTM9.  I'm curious how many other performance regressions I've found might be addressed?  The testing begins..[:)]
  • A properly tunes Linux machine will not swap just because it has lots of physical ram.  Windows does this...but not Linux.  So I have my answer.  utm9 is going to peg it's swap by default now so it is no longer a reliable indicator of how utm9 is performing..that's what i needed to know..[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • Not to discount your findings, however we simply have to agree to disagree as to your performance assessments and swap usage positions. There is by no means a line-up of partners complaining of performance, and the worldwide figures for support and performance cases are at the lowest they have ever been. If you have detailed traces from affected boxes which are overloaded and experience slowness at your customers, you should share them for analysis, and/or if not you should open a support ticket for customer installations to allow an engineer to examine the problem so they can solve it for you.

    I cannot speak as to why your virtual environment is causing usages which are unacceptable to you, as I have no idea how you have those platforms configured nor all the details as to all the specifications. I can however speak as to my own experiences with several test machines and production boxes I am responsible for of course, and they nowhere come anywhere close to mirroring your own with usages and "troubles". 

    The reason for my "nonchalant" attitude is that the global picture across thousands of installations just doesn't paint the same picture you've brought up here almost continually over the past months. Of course you may be right and UTM 9 will massively spike our support, however there are almost no indicators we've missed the mark here, so again, I hope we can prove you wrong come production time. 

    About your lead example, boxes with more memory will allocate more swap, as again we've discussed at length. If 4gb is the minimum you feel is required, by all means feel free to deploy that amount to your customers and don't use our appliances, this is why we offer the choice of course for virtual (officially supported for VMware but Xen and many others work just fine), hardware or software appliances.


    my vm config is available at the link in my sig.  The host specs are there as well.  it is not only my vm setup that is swapping madly there are two examples of pegging swap on physical machines as well..one not three or so posts up from our exchange.  So please don't say it's just me when there's examples of physical installs having this behavior as well.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • Also the swapping is in regards to v9 beta..not v8.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • Hi William,

    my vm config is available at the link in my signature. ...


    sorry for being OT, but:


    • your signature is stored only once (with your user profile) on the UBB
    • it is NOT stored with every post
    • as soon as you change your sig, the old information is lost forever
    • so, if you ever update your VM host, we have no way to tell what your configuration was
    • that's why I insist on users putting their specs in the post, to have it available in the context of the thread, even after years and many major releases


    Additionally, Users can turn off avatars and signatures in their UBB preferences. So you make them (well, at least you make me) jump through some loops to get information that you should have provided with the post.

    That's my 2c on why specs in signatures are a bad idea.

    Cheers,
    Kai
  • Hi William,

    sorry for being OT, but:


    • your signature is stored only once (with your user profile) on the UBB
    • it is NOT stored with every post
    • as soon as you change your sig, the old information is lost forever
    • so, if you ever update your VM host, we have no way to tell what your configuration was
    • that's why I insist on users putting their specs in the post, to have it available in the context of the thread, even after years and many major releases
      Is one mouse click that much of a hardship?

      Additionally, Users can turn off avatars and signatures in their UBB preferences. So you make them (well, at least you make me) jump through some loops to get information that you should have provided with the post.

      That's my 2c on why specs in signatures are a bad idea.

      Cheers,
      Kai


    is one mouse lcikc that much of a hardship?  ok so the historical record isn't there....but i detail how i mod form that spec all the time.  I'll update the thread with my current config this evening.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • This is why it is one mouse click away at my site ... anything pertenient is then updated in the post.


    I'm neither sure if I understand you correctly nor whether you understood my point. Oh, and it's more than "one mouse click" for me: I have to scroll to the top or bottom of the page, click on UserCP, have to find the correct settings group from the ~20 available options, then scroll down to the "Thread Display Options" sub-section, set the checkbox, scroll further down to save it, navigate back to the thread, then scroll down to the relevant post, before it's "another click" away. Not to mention that I have to do the same to reverse the settings...

    But that's my problem. I have to cope with this for the ~ 800 threads and ~ 6000 threads in a typical beta. It's not your problem how I waste my time, sure.

    My main point is that the configuration you used a year ago is lost to thread. In your sig, you point to single URL that holds the as of today current configuration, not the one you used in the problem report a year ago.

    Cheers,
    Kai

    PS: I don't like your tendency to do full-quotes either. You know, I know what I've written. [;)] If you want to reply to a certain sentence or paragraph, it's okay to quote just that paragraph. But I can live with that too, if proper quoting is too much effort for you.
  • Okay, so you edited your post while i was writing the answer... obviously you got my point regarding the history in the forums.

    Thanks for listening to my complaints!
    Kai
  • Okay, so you edited your post while i was writing the answer... obviously you got my point regarding the history in the forums.

    Thanks for listening to my complaints!
    Kai


    The mobile app isn't mq capable so its quote all or nothing..sorry..nothing I can do about it....the rest I'm taking to pm

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • I think a lot of people follow threads in the hope that whilst the thread itself may not be particularly relevant to them, some of the thread discussions may help to shed light to their own Astaro environments.  Whilst it is obvious that William has a bee in his bonnet as regards Astaro memory, continually repeating the rant does not help me at all, in fact I end up following a post which should be interesting, but has degenerated into posts of no value at all.

    I see William will now use PMs for his communications and that's a good thing (for BB users anyway).  Perhaps William in future might like to consider the value of his contributions to others on the forum.  He obviously has a lot of experience and I am sure there will be topics we can benefit from his insight.  As I presume everyone who uses the forums has limited time, following a progressive rant is not appreciated.  Angelo and Kai have provided good responses to William's specific points and whilst we will all be waiting to see how things turn out with the release of UTM 9, until then I'd prefer to get on with managing the Astaro installations I am responsible for.

    My 2c
  • A rant?  No I am not taking all comms to pm.  However folks point taken.  Mods since this a valueless thread lets nuke it and future users won't have to waste time.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow