[9.165][QUESTION] Performance issues with IPS/ATP/App Control

Question & Observation.

1) Is this performance decrease something that's changed from 9.1 to the 9.2 beta?

2) I have noticed with IPS/AppControl/Proxy on (since v8) that those subsystems of the firewall throw my results for a loop. I use speedtest.net and without any proxies on I get a consistent 12-15Mbps down at home and 30-50msec ping. Turn on the proxies (transparent mode no auth) and my tests go sideways. Ping goes up to 300msec on average and download speeds are all over the map, I've seen speedtest report speeds from 5Mbps on up to 30Mbps (on a 15Mbps line). Not uncommon to see the needle hovering at zero for half the test then suddenly shoot up to 50Mbps for the last few seconds, then speedtest reports I got 30Mbps.[:S]

Question & Observation.

1) Is this performance decrease something that's changed from 9.1 to the 9.2 beta?

2) I have noticed with IPS/AppControl/Proxy on (since v8) that those subsystems of the firewall throw my results for a loop. I use speedtest.net and without any proxies on I get a consistent 12-15Mbps down at home and 30-50msec ping. Turn on the proxies (transparent mode no auth) and my tests go sideways. Ping goes up to 300msec on average and download speeds are all over the map, I've seen speedtest report speeds from 5Mbps on up to 30Mbps (on a 15Mbps line). Not uncommon to see the needle hovering at zero for half the test then suddenly shoot up to 50Mbps for the last few seconds, then speedtest reports I got 30Mbps.[:S]

1) I can't confirm this since I jumped ship from V9.1 to pfSense and now trying 9.2 beta with the transparent SSL function.

2) I noticed the same thing... it seems to cap out at 10MBps on my 100MBPs link. I turn off all three and leave HTTP filtering on (had to turn off AV) and it works like normal. Toggling any of those three causes the issue.

You will have to run iperf to test throughput. As Andrew pointed out, Flash tests perform poorly with http proxy enabled. You can try running the test with AV disabled to get consistent results.

I have noticed that they have limited the IPS severely in this release (probably my old hardware to blame). Even with the same rule set enabled as before, only 2500 patterns are loading in this version compared to over 6000 in 9.1 Also the memory usage for snort is way down. Only thing I am not sure is which patterns are being loaded and which are rejected (even though I have selected them in gui). 

I wish we could only load IPS patterns for current bugs/exploits instead of still worrying about code red signatures to optimize performance on low end hardware.

Note that speedtest.net also gives you sometimes huge variing results depending on choosen server. I got completely opposite results

My Result (just tested via WLAN @AP50 !!) 
82,85 MBit Down / 11,32 MBit Up / Ping 18ms

I have my UTM 9.165 connected to a 100/10 MBit Cable Modem line. The UTM is running as VM on a ESXi 5.1 with 2 vCPU's, 2GB of Memory and VMXNET3 NIC's.

I have really nearly EVERYTHING active and running on the UTM:
- Firewalling (Different Networks AS LAN, Servers, DMZ etc.)
- IDS/IPS (Timestamp set 12 month, and some selected with no timelimit == active with 15652 of 16144 patterns
- Advanced Threat Protection
- Webfilter HTTP/S, Single AV (Sophos), AppControl
- Mailfilter (SMTP&POP3)
- WIFI (AP50 and AP30 with 5 SSID's)
- 2 connected RED's
- S2S Tunnels
- Webserver Protection
- RAS (SSL VPN)
- Endpoint with 12 Endpoints

And the difference i felt compared against 9.1x is a very low ping time in speedtest.net and very constant traffic/bandwidth during test.

BTW: I ran since UTM9 my VM always with 4GB of memory to avoid issues. Since 9.2 beta I run the constellation above with 2GB without issues. So that's a nice one. I still would recommend for real world company use at least 4GB, but at least we're now back there, where 2GB seems to be the "real" minimum to use FullGuard - depending on workload - really ok. I even run the 9.2 on a old rev. 1 and 3 ASG120 with Via C3 and Via C7 and 1GB mem with a limited featureset (Firewall, Web, AppCtrl, Advanced Threat Protection, S2S VPN). The C7 still is perfectly ok for a 15/1,5MBit Line, the C3 sometimes lags little bit, but I'm still fascinated, that the old "shoe box" runs 9.2 at all [8-)] )

I guess it's time to rework once my tweaking guide to update it to the 9.x generation UTM's, which in some cases seem to behave little different than the V8 ones.

I wish we could only load IPS patterns for current bugs/exploits instead of still worrying about code red signatures to optimize performance on low end hardware.

Hi Billybob

That's the new feature in IPS to choose a timeframe, how old the rules can be. 

You can set the rules according to your updating behaviour. As I for example keep my Linux and Windows Clients up2date, I've set the Windows Linux OS timeframe to 

I thought I had read about that in release notes but somehow, I completely missed that. Thanks for pointing it out.

This also explains why I only had 2500 patterns loaded instead of the usual 6000 because 12 month time frame is applied by default [:P] I have tweaked my rule set and wow, this is amazing [:O]

Regards
Bill

Hi, I haven't tried the Beta, but on 9.10x my Atom n270 only gets about 16mbps on speedtest.net with the IPS on (25mbps with IPS off).

https://community.sophos.com/products/unified-threat-management/astaroorg/f/52/t/29110

Barry

Question & Observation.

1) Is this performance decrease something that's changed from 9.1 to the 9.2 beta?

2) I have noticed with IPS/AppControl/Proxy on (since v8) that those subsystems of the firewall throw my results for a loop. I use speedtest.net and without any proxies on I get a consistent 12-15Mbps down at home and 30-50msec ping. Turn on the proxies (transparent mode no auth) and my tests go sideways. Ping goes up to 300msec on average and download speeds are all over the map, I've seen speedtest report speeds from 5Mbps on up to 30Mbps (on a 15Mbps line). Not uncommon to see the needle hovering at zero for half the test then suddenly shoot up to 50Mbps for the last few seconds, then speedtest reports I got 30Mbps.[:S]

on point 2 its working as designed.  The downloaded test file fits within your download scanning size.  The system downloads it..scans it and then releases it to your machine.  Since it comes to your machine at full internal line speed the total time of the download as far as the app is concerned gets affected.  For a true reflection turn the http proxy a/v off...to get pings to their real level you have to completely disable http proxy.

Hi, I haven't tried the Beta, but on 9.10x my Atom n270 only gets about 16mbps on speedtest.net with the IPS on (25mbps with IPS off).

I have 7010 patterns loaded on my IPS. However the memory used by snort is at 62 megs with an uptime of over 2 days. This looks great on paper but I wonder what exactly is the performance / detection rate for a memory starved IPS like this. 

For us long time astaro users, if you remember, we had a bad review in one of the magazines that tested IPS performance.  This caused the snort devs to go crazy with optimizing snort for maximum detection rates but now it seems we are completely moving in the other detection. 

We need to find a happy medium with good detection and good hardware utilization. Perhaps a memory switch that recommends the optimum settings but lets the admin override with a heavier memory usage profile? 

I am running astaro in a vm with 2gb ram, I believe a 100 meg snort can be accommodated in this configuration without any adverse effects if it helps with snort performance. Maybe some guidance from astaro folks on how the memory cap for snort is calculated and the performance effects of low memory vs high memory would be great.

Regards
Bill

on point 2 its working as designed.  The downloaded test file fits within your download scanning size.  The system downloads it..scans it and then releases it to your machine.  Since it comes to your machine at full internal line speed the total time of the download as far as the app is concerned gets affected.  For a true reflection turn the http proxy a/v off...to get pings to their real level you have to completely disable http proxy.

I kinda expected that given how I understand the proxy to work. I think the point I was trying to make is that with the proxy on, it's not uncommon for any web based speed test site to get wonky results with the filter on. I've tried it with the A/V off and it does improve somewhat, but not greatly on my Atom based unit (no longer in service).