Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 16 replies
  • Subscribers 0 subscribers
  • Views 6044 views
  • Users 0 members are here
Options
Suggested

[8.930][BUG] IDS Performance Problem

William Warren
This jsut cropped up.  I have two asg's inside of hyper-v.  The first one is 8.301 with 4 vpcu's with a 25% reservation with a 75% max cpu.  2 gigs of ram and 3 nics.  I get full cable performance of 30 megabit bursts with 16 meg constant.

Under my 8.930 however this recently changed.  With the exact same configuration in terms of ids settings and everything else..the only addition is 3 gig of ram...i cannot get more than 10 megabits.  This is a serious regression and i jsut noticed it a couple of days ago.  If anyone from astaro wants to take a gander i'll work with them gladly.  

The host powering these instances is hyper-v host 4 x 2.4 ghz 10 gigs of ram 1 x broadcom 1x intel dual gig-e
  • 0
    I am more of a beta version user than the tester this time around so I didn't want to submit a bug report but I have noticed snort using more than usual cpu cycles. How is snort cpu usage when you max out your bandwidth on the beta machine?

    I tried to tinker with the configuration and instead of search-method ac-bnfa, I changed it to search-method ac-split which supposedly is faster and less cpu intensive at a cost of higher memory. But the results were the same for me as far as cpu was concerned. I can max out my 15mb line with the current version but I will have to add another vcpu if I want anything more. I haven't measured the raw max throughput but I believe you are on to something.

    Regards
    Bill
  • 0
    We are currently testing this in our performance lab... stay tuned!

    Cheers,
    Kai
  • 0
    I have raised the IPS thread count to 4.  Snort says they can perform just fine in a single thread..that's just not the case.  Modern cpu's are not designed for single thread performance by default now.  Multi-process is a kludge IMO.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    As a further tsting aid:
    I increased the IPS thread count to 4.  Ram has shot up due to having to run 4 copies of snort.  I can now hit my QOS limit easily.  However i still only get about 14-16 megabits..which i should see a burst to 20-30 upon initiation of a large download.  if i turn IPS off everything works as it should.

    I also restricted the IPS to only protecting my servers..yet ALL machines take the hit.  something is not right with the packet processing of the IPS.  Even throwing nearly 5 ghz of cpu towards it isn't helping.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    one thing to keep in mind.  i DO have power management on my host cpu.  it spends much of it's time at 1197 mhz.  even with all 4 snorts loaded it never ticks up.  this tells me snort doesn't "push" things.  However the http proxy will make the cpu jump up when i hit it with 30 tabs simultaneously.  Manually increasing the clock speed to it's full 2400 mhz gives me the expected performance..however this comes at a large power cost and defeats he purpose of virtualization.  There's other hyper-v issues I've found with 3.9 which i will put into another thread.  somehow the UTM has to be more aware of it's cpu allocation and know to request more cpu..not jsut for MT apps(http proxy) but the ST apps as well(IPS).

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    Further testing mods i made with 8.9 just now:
    vpus = 2
    25% minimum physical cpu allocation(1 core) 50% maximum cpu allocation(2 cores)
    3 gigs ram
    2 IPS instances

    observed IPS behaviors:
    During snort startup the two processes pegged the cpu at 100%.  the physical host cpu also jumped straight up to 2400mhz.  This lead to a vastly quicker snort startup.  Overall system startup improved as the host cpu spent more time at 2400 mhz than with previous cpu settings.

    IPS performance:  Full network performance now achieved.  IPS now "pushes" host cpu causing increase in cpu clockspeed. While it is not to 2400 mhz it was up to 1750 mhz.  Ram usage is now reduced due to not having to run 4 instances of snort.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    so in summary with 4 vcpus and with a minimum allocation of 1 core and a maximum allocation of three cores IPS can't take advantage of the additional power available.  if i reduce the allocation to 1 core minimum and 2 cores maximum i get increased performance.  The big question now is if this configuration is going to hurt my http proxy performance.  That's my next test..[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    this may not bode well for quad core/thread cpus as well since all cpus on the market now have dynamic power management turned on by default.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    Now i'm wondering if it isn't some kind of astaro-hyper v issue.  ALL areas of performance have jumped since i reduced the vpu inside of utm9.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    Thanks for reporting. We are now tracking this as Mantis ID #21187
Share Feedback
×

Submitted a Tech Support Case lately from the Support Portal?