CPU Required for 1Gb Throughput

Well, lucky you. [:)]

I can't answer your question directly (don't have a Gig connection, nor do I have a powerful device - Atom D2550), however, just a few comments.

I'm sure you realize that you will never get a full gig to go through -- you'll still be limited by your Gigabit interface. The max you'll probably get is ~850 mbps (still fast). For a full gig you'll need to go with 10 gb cards. 

You are probably mostly limited by the IPS processing on the UTM. I've noticed that you're willing to go with a "consumer grade" router, which tells me that you're probably not as concerned with IPS. Have you tried turning it off and checking the speed? I suspect that you'll get close to 500 mbps without, if not more. After that, try turning off the anti-virus, and then web filtering -- see the speed then. You'll get none of those things with consumer grade router anyway. 

But if you want to leave all those one and get close to a gig, I would imagine you'll need to get a high GHz CPU (3 Ghz+), and > 10 MB of cache on the CPU. Pure clock speed and cache seem to be the biggest factors for Snort IPS. And Intel or Broadcom NICs. 

VRT: Single Threaded Data Processing Pipelines and the Intel Architecture

Well it's not so much that I'm willing to live with "consumer grade" its that if I have to dumb down the UTM features closer to a consumer grade box I might as well take the UTM out, which I really don't want to do.

The prospect of spending $600-$700 on a new VMware box isn't exciting but if someone had a verified build with IPS enabled that doesn't choke on 1Gbps I'd spring for it.

unless you are using jumbo frames at your end AND the isp you aren't going to get sustained GE.  Also what nics are you using and exactly which cpu are you using?  with my xeon host setup i can burst to 900 megabits and sustain about 700 megabits using 1500 byte frames for internal transfers.  I have intel and broadcom nics.  If you want to be able to stuff that pipe you are going to either have to use jumbo frames and/or 10GE nics provided you get a 10GE connection on your isp end.  For IPOS it is all ghz.  You'll need something like an i-5 or i-7 with at least 3.5 ghz.  If you aren't using intel or broadcom nics you have zero chance of even bursting to GE.

With a local network test, my HP (with Broadcom NICs) can do ~900mbps with the IPS off:
https://community.sophos.com/products/unified-threat-management/astaroorg/f/52/t/29110

The highest I've seen reported with IPS on is around 550mbps, on a fast Xeon server with server-grade Intel NICs. That was SMB/CIFS traffic, not HTTP.

My Haswell i5-4670 with Intel NICs can do 300mbps of http traffic through the IPS, with one stream.
(maybe higher in newer versions with IPS rule aging?)

Non HTTP traffic is faster (360mbps).

With multiple users, it should be several times higher.

An i7 wouldn't be any faster for a single user.

Be sure to use Intel or Broadcom NICs.

Barry

Sorry guys,

Let me clarify. Don't get hung up on 850Mbps vs 950Mbps, Ethernet encapsulation overhead ration at 1500MTU, or  ... My current Sophos install hits a wall at 200Mbps... so getting that last few feet when I'm a mile away isn't on my radar yet.

For the record I'm using an Intel 350-T2V2 NIC so the NIC isn't my issue. It's connected to a Cisco 4948 so the switch isn't the issue. My limit is my i3 processor.

I can achieve 900Mbps+ sustained bypassing the Sophos.

With a local network test, my HP (with Broadcom NICs) can do ~900mbps with the IPS off:
https://www.astaro.org/gateway-products/hardware-installation-up2date-licensing/49427-ips-performance-tests-hardware-benchmarks-unofficial.html#post246429

The highest I've seen reported with IPS on is around 550mbps, on a fast Xeon server with server-grade Intel NICs. That was SMB/CIFS traffic, not HTTP.

My Haswell i5-4670 with Intel NICs can do 300mbps of http traffic through the IPS, with one stream.
(maybe higher in newer versions with IPS rule aging?)

Non HTTP traffic is faster (360mbps).

With multiple users, it should be several times higher.

An i7 wouldn't be any faster for a single user.

Be sure to use Intel or Broadcom NICs.

Barry

Barry,

Thanks! This gives me a good frame of reference, although not the positive data I was looking for. I might have to look for another method of deploying Snort.

I'm going to turn off IPS today and see what impact it has on my throughput.

Folks have been getting full GE with p-4 xeons.  Part of the issue is the overhead of the UTM.  There's just too much completing for cpu time.  Snort is at a bad disadvantage here..most of the UTM is designed to be MT and therefore larger core counts up the performance.  Snort however is highly serialized ST which means ghz is kind for it.  If you want fast speeds you ahve to go ghz ghz ghz.  Proper motherboard AND nics are crucial as well.  

To give you an idea the fastest max realworld 1xx utm right now maxes out at 370 mbps.  That's with nothing else one.  You have to really get up into the firebreather sg appliances before you even can THINK about getting close to GE.  Even then that's with very little if anything else turned on.  if you want to get GE AND have other stuff turned on you have to get into the 2u upper echelon of things.  

If you want GE IPS you are going to have to have a fast cpu...fast nics and be running more than one stream at a time to get GE out of snort in the utm without spending thousands upon thousands for your home setup..[:)]

Thanks William!

I wonder what I would get out of an i7-5820K over clocked to 3.8Ghz or even 4Ghz. I suspect I'll have to give up my dreams of 1Gbps for a while. There is already one company building Snort into a consumer device  (I've asked but they haven't responded on speed) so maybe some consumer friendly solutions are around the corner.

Thanks

Thanks William!

I wonder what I would get out of an i7-5820K over clocked to 3.8Ghz or even 4Ghz. I suspect I'll have to give up my dreams of 1Gbps for a while. There is already one company building Snort into a consumer device  (I've asked but they haven't responded on speed) so maybe some consumer friendly solutions are around the corner.

Thanks

dreams of GE no..dreams of GE in snort with anything else going..yes..[:)]

NOW then..if you want MAXIMUM speed there's two way to go:
1. stick with vmware.  if you do this make one vm with 2 vcpus and dedicated every single ghz the vmware host can muster to the vm.  Same for the ram and disk.

2.  Install directly onto the hardware.

I would go with #1.  If something happens to the host you can grab the vmdk and other files and simply move to another vmware host.  NO reinstalls and you don't loose your logs.(provided you don't have a hard disk failure and don't have a backup).

Thanks William!

I wonder what I would get out of an i7-5820K over clocked to 3.8Ghz or even 4Ghz. I suspect I'll have to give up my dreams of 1Gbps for a while. There is already one company building Snort into a consumer device  (I've asked but they haven't responded on speed) so maybe some consumer friendly solutions are around the corner.

Thanks

if you go QC you have one option IMO to wring as much speed as you can..vurtualization.  Make a vm with 2 vcpus and dump all ghz, ram, and hdd into that vm and let it rip.