Slow Throughput with Fast Cable

I had an additional question after reviewing the Sophos UTM hardware specifications for UTM throughput by model. The UTM 625 is rated at a UTM throughput of 340 Mb/s.

How is this achieved?

Is this a single or multistream test from WAN to LAN?

Is a different version of the software used on these appliances vs what is available for download on a software appliance?

If IPS runs most efficiently on 1 core for a single stream, I do not see how a Xeon would be beneficial in a single stream scenario vs an Ivy Bridge core, at a similar clock speed.

Thank you.

Hi Asteroid,


Testing of throughput is done using proprietary flow generators that Sophos believes best simulate real world traffic. The tests utilize multiple simultaneous streams which simulate a multiuser scenario. The performance numbers represent the maximum bandwidth the hardware could process under test, not specifically what individual streams/users might see.

As for the software, there is no functional difference between the appliances and the installable versions. The appliances have a striped driver set and won't accept software licenses but that's it.

Sent from my iPad using Astaro.org

I had an additional question after reviewing the Sophos UTM hardware specifications for UTM throughput by model. The UTM 625 is rated at a UTM throughput of 340 Mb/s.

How is this achieved?

Is this a single or multistream test from WAN to LAN?

Is a different version of the software used on these appliances vs what is available for download on a software appliance?

If IPS runs most efficiently on 1 core for a single stream, I do not see how a Xeon would be beneficial in a single stream scenario vs an Ivy Bridge core, at a similar clock speed.

Thank you.

Asteroid IPS is all about clock speed..with three users you most likely don't have and won't have enough load to force your CPU out of low power mode.  Read the links in my SIG...you actually have too much CPU not a shortage of it

Sent from my Galaxy Nexus using Astaro.org

I truly appreciate everyone's responses. 

If an Ivy Bridge 3770K, rated for 3.5 GHz with Turbo boost to 3.9 GHz is too much CPU, and is not forced out of low power mode to support efficient IPS processing of a Cable WAN of 180 Mb/sec to a single user, is there any hardware configuration that would work effectively in this setting, without dropping the 180 Mb/sec to 90 Mb/sec?

Is there anything that Sophos could do in the coding and implementation of IPS?

Thank you.

Hi,

90mbps does seem low for an i7 CPU. 

1. what do you have in 'local networks' in the IPS settings?


Also, did you test with the IPS and proxy off on the i7, and did you get 180mbps?
If not,

2. have you confirmed the Internal and External NICs are at 1gbps?
You could run 'ethtool eth0' and 'ethtool eth1' on the console.

3. also run 'ifconfig' and look for any errors or drops.


Barry

I was hoping some users who are far more experienced than I, could provide recommendations for improved throughput for a home license with 3concurrent users maximum and a cable modem connection of 180 down/30 up Mb/sec. 

Speed was measured with a computer directly connected to the cable modem for a baseline. A variety of speed test sites were used, as well as uploading and downloading large files to servers with timed comparisons and performance monitoring in Windows.

I tried the current software UTM version 9 on a Core 2 Duo at 1.8 GHz with 2GB RAM and a 7200 rpm HD and found that with everything off (but the firewall/NAT) that throughput was good. However, after activating IPS for Windows system/Office/Malware, download speed dropped to the 50s. Adding Web filtering and single AV, dropped it to the 40s. The latency of speed tests jumped from the 10-20 msec range to 160-170 msec range as well.

I then repeated the test on different hardware with an i7 Ivy Bridge 3770K with 32 GB RAM and a 7200 rpm HD and found a good baseline with everything off, a drop to the 90s with IPS (as above), and further drop to the 80s with Web filtering and single AV. On this system, CPU utilization peaked at 

Now that i can sit at my computer i can detail things:

The latency spike is due to the http proxy.  It murders latency measurements however for http that's not a huge deal. You can't use an http based speedtest site for accurate latency measurements due to the large latency penalty enacted by the http proxy.  I don't know what this is but I've thrown 3 ghz of total cpu and never gotten that one to go away.  On IPS.  Read my links about how ips works and modern cpu design.  the Single threaded multi-process configuration of IPS(which is snort) is not going to force modern cpus out of low power mode by itself...unless you are hammering the cpu with other kinds of traffic that can make the cpu sense that more than one core needs to get involved.  What i have found is the following:

In order to get a modern cpu fully engaged you need to have enough traffic going through it that will load up more than one core.  Since snort won't push a modern cpu by itself you have to have more traffic that will.  In your case that will be http traffic.  Here is how I've confirmed this.  i'll start a download and watch my throughput sometimes cap at 50% of my 50 megabit down.  I then open 36 tabs at once on my desktop.  This sudden inrush of http data force the multi-threaded http proxy to request maximum cpu availability as it sends all requests by the cpu.  The cpu responds by ramping clocks on all 4 cores to maximum.  All of the pages load quickly and for about a second i'll see 50 megabits on my download as the ips now get full attention from one core at maximum clockspeed.  Once that clockspeed gets ramped down the download goes back down as the cpu drops back to 1.1 ghz.  The only way around this is to use either vmware(which will force higher clocks once the vm is requesting enough ghz...or to disable power management on the cpu so that is runs at full clockspeed all the time.  Each configuration is going to make this a different exercise.  For my setup i'm not using vmware i'm using hyper-v which puts me into a bit of a pinch.  Hyper-v won't let me use the cpu as a bucket of ghz so i have to assign by vcpu.  This means i am presenting a multi-core cpu to the utm9 which puts me smack into the problem you have as well.  What i had to do was reduce my ips instances to one....and then once i get a couple of downloads going the cpu would get ramped up by the ips instance since enough traffic was finally getting pushed to force a rampup.  Virtual machines make this issue much easier to get around.

The issue with an I7 or even an i5 is your situation is you don't have enough traffic on a consistent basis to force a ramp up due to the large amount of core/threads (4 cores and 8 threads).  This is normally not a bad this as the cpu can easily load balance across all of its resources.  this allows the cpu to remain at a low power state and saves power.  Modern cpus are more geared towards multi-threaded workloads and not single threaded workloads.  When a modern cpu is presented with a high single threaded workload unless it is extreme the cpu isn't going to ramp up 7 other threads or cores to service that one workload due to the power saving bias the market has been demanding.

How to deal with this problem:
Use either hyper-v or VMware.  This way you can restrict the number of cores presented to the utm and this makes it easier to force a system ramp up.  I would recommend VMware as it's more mature and give you much more flexibility.  Hyper-v however has the advantage of being windows based making it simple to disable the power management of the system completely if needed.  

Disable power management in the bios.  These days this isn't going to work because power management is hard coded into the cpu.  Only the OS can force power management changes.

Get a slower cpu.  Clock speed is still king.  I would go no higher than a core i3 dual core with NO HT.  You have the best chance of NOT hitting this issue with a dual core machine.  Most folks run to the i5 and higher due to marketing without knowing how these cpus really are designed.  That's not your fault and it the case of excellent if not totally ethical marketing by Intel. 

The main issue is unless you are either an extreme user(like me) or a larger installation the core i3 is going to give you the best bet of decent IPS performance regardless if you are using VM's or not.   

I hope this makes things a bit more clear.  You really have to carefully design your systems now for the realities of modern cpus designed for multi-threaded loads in a single threaded IPS world.  Unfortunately Sophos can't do much here as Snort has said they do not intend to go MT anytime soon.

The latency spike is due to the http proxy.  It murders latency measurements however for http that's not a huge deal. You can't use an http based speedtest site for accurate latency measurements due to the large latency penalty enacted by the http proxy.  I don't know what this is but I've thrown 3 ghz of total cpu and never gotten that one to go away.

Hey William,

If the proxy is in cloudy mode, I think the extra latency you're seeing is between the proxy and Sophos' servers. In my own tests, most servers have 100-150ms ping times and with Astaro's cffs servers responding in the same range, it explains most of the 200-300ms I'm seeing. Allow for delays in the cffs server response and I think you have most of the delay explained.

To isolate UTM-side delays, you want to use the local cache. Whatever delay you get in mem mode is UTM processing delay. Compare that with the same delays in cloudy mode and the difference is your network & cffs-side delay.

nopers..using local db doesn't help the latency figures much if at all..at least not in testing on several utm's i have installed.  All of the internal processing between the proxy and application control(which is routed through the http proxy) jsut murder http latencies..which in all realities is not anything to worry about as long as it stays below say 500 milliseconds.  Unless you are doing http/s real time gaming it is simply not a concern.  if you do a straight traceroute through the utm you can then see any latency enacted by ips which is relatively small unless your system is highly overloaded.  the OP's system is most assuredly not overloaded.

In response to BarryG,

With IPS, and all other services, not enabled, throughput in the i7 system matches that of a computer directly connected to the cable modem (180 Mb/sec). Hence, I do not think that the NIC configurations or cabling represent problems.

Thank you.

In response to William,

You weren't kidding when you said that you would detail things!

I did want to mention that I initially tried a Core 2 Duo (E4300 with 1.8 GHz cores), and noted approximately only half the throughput (50 Mb/sec) that the Ivy Bridge 3770K provides (90 Mb/sec) in relation to the WAN speed of 180 Mb/sec.

Additionally, when I tried running only one instance of IPS from the root command line setting, in the 3770K system, no improvement was observed.

Have you tried overclocking any of the Intel products and disabling SpeedStep in an effort to force higher clock speeds at relatively low, single IPS stream work loads? This would obviously generate more heat and be more expensive to run continuously as well.

What version of VMware would be necessary to run a virtualization trial?

Do you think there would be a throughput difference between a VMware product and Hyper-V?

Thank you.