Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 57 replies
  • Subscribers 1 subscriber
  • Views 39086 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

UTM Performance Crashes with A/V Scanning, but CPU only at 12%

THXEngineer
I'm having an issue with Sophos UTM 9.307 that when it performs A/V scanning on large file (300 MB) downloads, my entire network comes to a screeching halt, with several machines dropping network connection or freezing up.  BTW, I'm using the dual A/V scan.

My UTM installation is on a home-built machine using an Intel i7-4790k CPU @ 4.0 GHz, hyperthreaded with 8 cores, 8 GB RAM and a 60 GB SSD, Z97 chipset.  NIC's are a single Intel i-350, 4 port (only 2 used - one WAN, one LAN) and an Intel NIC built onto the motherboard.  I wouldn't think I'd be potentially hardware limited with this setup.

Per posts here on the Sophos BBS, I've disabled Intel's "Enhanced SpeedStep" and "Turbo Boost" options in BIOS, along with the enhanced "C states".  I've also performed BarryG's recommendation at the console:

echo "performance" >/sys/devices/system/cpu/cpuN/cpufreq/scaling_governor

for each logical CPU 0-7.

The maximum CPU usage I've ever recorded in Sophos UTM during normal operation is around 12% when performing a scan on a single 300 MB download.  Note that this 12% corresponds to about 100% loading of one logical CPU core.  I was able to get around 17% CPU usage once when I tried the same download and scan operations on 2 machines (real machines, not VM's) simultaneously, but that completely locked up the network and I only had a few other machines running.  When not performing A/V scanning, my CPU hovers around 1-2%, since we don't have that much network traffic right now.

It seems like the UTM isn't taking full advantage of all the CPU horsepower that is available.  I could understand one of the connections / scans being tied to a logical CPU (with SNORT, etc) and locking it up, but it seems like the UTM would transfer other connections to other logical CPU's and not lock up the entire network.

BTW, the dual A/V scan of the 300 MB file took a couple of minutes.  Does this sound reasonable given the hardware?

It's almost as if the UTM is only using one of the available 8 logical cores to do almost all of the work in my system.

I'm aware that hyperthreading could be an issue due to the way the OS assigns the logical cores, such that logical core 0 and 1 are essentially the same physical core.  I could see this as being a problem when core 0 is at 100% load and the OS tries to give work to the next logical core (1 in this case), which is really already at 100%, but I thought that the underlying OS was "smart" enough to realize this.

Should I disable hyperthreading?  If so, will this corrupt my current Sophos UTM installation that expects to see 8 CPU's?

Does anyone have any other suggestions on setting, etc that would enable the full potential of this hardware setup or is this "normal" / to be expected?  

Thanks in advance,

- Ben


This thread was automatically locked due to age.
  • 0
    The issue should disappear with the Linux 3.x kernel as it replaces the cpuspeed daemon with one that is smarter about modern CPUs.

    Which kernel is in 9.3x? (I'm not running it)
    uname -a

    Thanks,
    Barry
  • 0
    Barry, is this what you expected with 9.307?

    3.12.30-36.g744dc63-smp64 #1 SMP Wed Jan 14 23:29:35 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux


    Cheers - Bob
  • 0 in reply to BarryG
    The issue should disappear with the Linux 3.x kernel as it replaces the cpuspeed daemon with one that is smarter about modern CPUs.

    Which kernel is in 9.3x? (I'm not running it)
    uname -a

    Thanks,
    Barry


    maybe...we will have to see as it is still a fundamental design difference between modern cpu hardware and snort and other St software..[:)]
  • 0
    Bob, yes that's the new 3.x series kernel, good.

    William (or anyone with an i5 or i7 CPU), one can check the CPU speed on UTM 9.3x with the IPS enabled during a network speed test:
    The best way to watch the CPU frequencies in Linux seem to be:
    watch -n.1 'cat /proc/cpuinfo|grep MHz'

    It should be at full (turbo or non-turbo) speed when testing, if not all the time.

    My original threads about this are at 
    https://community.sophos.com/products/unified-threat-management/astaroorg/f/52/t/29162
    and
    https://community.sophos.com/products/unified-threat-management/astaroorg/f/81/t/65364

    Barry
  • 0
    yes i read those..[:)]  Right now though my recommendations aren't going to change.  if you properly spec the hardware for your environment you won't have to worry about possible Snort performance issues.
  • 0
    I tried disabling hyperthreading and received a series of errors when the UTM tried to reboot.  Basically, the OS was looking for all 8 cores and could only find 4.  Looks like I'll need to do a fresh install of the UTM with hypertheading disabled.

    Barry, I did run "top" during the large IPS download with hyperthreading enabled (8 cores).  "httpproxy" showed 100% CPU usage and 11.4% Memory usage.  Overall CPU usage was 12.5%.  Since I'm running the UTM on a physical machine (not VM), I don't have a way to do a screen capture (that I'm aware of).

    Thanks,

    - Ben
  • 0
    I tried disabling hyperthreading and received a series of errors when the UTM tried to reboot
    Yep, UTM is not plug-and-play.  Hardware changes generally require a reinstall to detect and cope with those changes.
  • 0
    Scott, thanks for confirming the HT disable requires a re-install.

    When / if I do the re-install, I'm considering disabling the motherboards' NIC (part of disabling everything not needed per William's advice) to see if I may be having an IRQ conflict or something that was related to my OP crash and/or impacting IPS performance.  I've tried several times to hook up a security camera system's NVR to this NIC and wound up deleting and not using this interface due to it causing a system crash every time I've tried to use it.

    For reference, my motherboards' NIC is an "Intel I218V Gigabit LAN-Dual interconnect between the integrated LAN controller and physical layer (PHY) and is an 802.3az EEE appliance" whatever all that means [;)] !

    Are you aware of any hardware and / or driver issues with the Intel I218V NIC?  Sophos does load generic drivers for it and it shows up as a valid interface, although it's listed as an "Intel Corporation unknown device". 

    The primary NIC that I'm using is a 4 port Intel PCI-e i350, which Sophos properly identifies.

    Thanks,

    -Ben
  • 0
    Are you aware of any hardware and / or driver issues with the Intel I218V NIC
    Not currently, but several times in the past, there have been issues with Intel firmware.  Usually this manifests itself in the form of the NIC no longer passing traffic (it goes into "sleep" mode and then refuses to come out of it without a reboot).
  • 0 in reply to Scott_Klassen
    Yep, UTM is not plug-and-play.  Hardware changes generally require a reinstall to detect and cope with those changes.


    It depends.  at least in a virtual environment i can change cpu counts all the time without issues.  Maybe on a physical install it is different...i have not run a physical install in more than a couple of years.