Slow Throughput with Fast Cable

What can be done to significantly improve throughput with full services engaged?

Two biggest things are CPU & RAM. More RAM means more stuff can be cached off disk which improves performance. Faster CPU's with more MHz are also a big help.

Why was a greater improvement not observed between the 2 very different hardware systems?

My read of your D/L speeds showed a pretty significant margin between the two. 50Mbps vs 90Mbps is a pretty substantial difference.

Why was there not higher CPU utilization present?

The graph in webadmin shows the aggregate of all cores so if several cores are idling, you'll see lower numbers. The individual processes within the system aren't really multi-threaded so don't take advantage of the extra cores as much as they could (in theory).

Firewalling also isn't exactly the most CPU intensive task either. Basically the system performs a lookup on a table of rules for every packet that passes by and matches against the list. First hit wins.

Does this software use multiple physical cores and take advantage of hyper-threading?

The core OS does take advantage of multiple cores. As each process within the firewall is a separate program, the underlying OS will schedule each one among the available cores as it sees fit. Hyper-threading is essentially  "multi-core light" so doesn't really benefit the system as much as extra real cores would.

What is a reasonable expectation for this product with minimal users and a single high speed connection?

There is no one single right answer to that unfortunately.

Would anything improve the jump in latency?

The latency is a combination of the IPS & Web Proxy scanning. IPS can be improved somewhat through throwing more MHz at the problem. Multiple cores only really help when you have more users. The Web Proxy is going to keep those higher latencies no matter when you try (excepting below). The proxy goes to the Sophos cloud for classifying it's data which means there will always be some lag.

Would a local content filter database help, and how exactly would this be accomplished and updated on an ongoing basis?

The is a unsupported 'easter egg' in the UTM that does this. Search this forums for "Local Content Filter Database"

Would an SSD have a meaningful impact in this setting?

I haven't tested it but the gains would be minor as most of the delays in the UTM are primarily CPU, RAM & Network. Even if you swap a lot it still won't give you major gains.

Is different hardware needed (I was hoping a higher end system would not be needed for so few users)?

Again, the answer depends on what tradeoffs you're willing to make.

Is there any way to make more effective use of RAM vs HD or SSD?

The Local Content Filter Database does have a memory setting which has shown some improvements vs the disk mode. v9, for reference, is very memory hungry so 4 gigs or better will help.

Hi,

Try a test with more than one client; right now your bottleneck is a single IPS process and a single a/v process.

Also make sure you've tuned the IPS rulesets and servers ('advanced' tab) to match your environment.

Barry

Thank you for your input.

I had decreased the number of IPS categories to the minimum appropriate for my setting, before running the above speed tests.

As all of the computers are Windows clients, special device tuning will not be helpful.

Although, the more powerful computer system improved throughput compared to the lower end system, the throughput is still severely degraded (50% less than without IPS) in the case of a single client downloading a large file from a fast server.

At this point I am not sure what else to try as more RAM (currently 32 GB) is unlikely to be beneficial, and I already am running an Ivy Bridge Quad Core at 3.5 GHz, with low overall utilization. I hate to put more into a computer with only three users.

I really like the software and am trying to figure out if there is any way to make it work fast enough in this setting.

your issue is the quad core and 3 users.  Restrict your ips to one thread and see fi that helps.  v9 has issues with the ips not fully utilizing a multi core cpu's single thread so it never ramps the clockspeed up.  with you having 4 cores you'll hit hits issue.  manually set your ips instances to one...that should help.  However if you have 3 light users you may never get the cpu to go out of minimal clockspeed mode. intrusion prevention systems are all about instructions per second and in a single threaded multi-process environment ghz is king.  The more ghz you have the faster your intrusion prevention is going to be.  I've written about this extensively..if you can't find my dissertation i'll make a blog post and link back to here on my siggy below..[:)]

check my signature below.  if i remember to i'll throw up a highly technical detail about why this issue persists at least in terms of astaro as that's the only product with a true IPS that i use..[:)]  I added it to my google docs tasklist so i'll get to it...

Thank you.

How would I restrict IPS to a single thread in the software version of the UTM?

Would such a setting only limit IPS operation to a single thread or all processes running on the UTM?

What would the impact be on the remaining processes?

Hi,

Asteroid,
You can change the number of IPS processes by logging into the console as root and running:
cc set ips num_instances 1

to set to one process.
'0' would set it back to automatic.
reference: https://community.sophos.com/products/unified-threat-management/astaroorg/f/52/t/28468

This will only affect IPS processes.

I would still suggest trying with multiple clients too, with 1 IPS process and with multiple.

BTW, the highest numbers I've seen posted here for IPS throughput were around 500mbps (LAN->DMZ). IIRC that was on a Xeon CPU.

William, in the v9 beta thread you linked, you mentioned VMs... does that also happen on bare hardware?

Barry

Hi Barry,

I performed some additional testing and found that restricting IPS to 1 instance did not significantly change a single stream test (WAN to 1 client). However, a single IPS instance with 2 simultaneous download streams caused a decrease in performance compared to multiple instances.

Any other ideas to improve throughput for a single client with IPS enabled?

Thank you.

Assuming you've already tuned the rulesets, nothing else other than a faster CPU is likely to help.

I did notice in version 8 that the Application Classifier (aka Content Detection or whatever) used a lot of CPU, but it seems to be much better in v9.
Anyways, you could see if turning it off helps.

Barry