[9.200] Web filtering causing slow internet browsing?

I have installed on 3 different machines and am having the same problem.  My speedtest which hit my ISP directly from my home are having pings around 110-365ms.  Further, upload speeds are greatly hampered.  I have 77Mbps up and down fiber and with web filtering turned on, I'm getting pings of 110ms+, down 65Mbps, up 25Mbps.  With web filtering turned off I'm getting 4-6ms, 77Mbps down and 67Mbps up.  This is running on a Core2Quad 2.4 with 8GB RAM.

Hi Max.  First of all, I suspect your issues are different from the rest of the thread.  Next time can you start a new thread?

The ping time and download speed differences are normal and expected.  Upload speed does seem impacted.

Can you please try the following:

Turn on Web Protection
Create an exception
Coming from these Source Networks and put your internal network (or test box) in
Put a checkbox beside every skip check.

Run your speed test.  Is it any faster?  If it is a lot faster, then try it without some of the skips - the antivirus being the most likely to impact.

Hi Max.  First of all, I suspect your issues are different from the rest of the thread.  Next time can you start a new thread?

The ping time and download speed differences are normal and expected.  Upload speed does seem impacted.

Can you please try the following:

Turn on Web Protection
Create an exception
Coming from these Source Networks and put your internal network (or test box) in
Put a checkbox beside every skip check.

Run your speed test.  Is it any faster?  If it is a lot faster, then try it without some of the skips - the antivirus being the most likely to impact.

The content filtering is what was killing me.  w/o it, 77/67...with it turned back on...70/25...
pings with web filtering completely off were ~6ms.  With it back on but all that stuff skipped it was 55ms.  With content filtering back on, it was 110-150ms.

Hmmm....  The checkbox for skipping "URL Filter" mostly affects categories, blacklist, and file ext and mime types.

Most of those in theory should not affect upload speeds.

However it could be something like trying to do MIME true type detection on the large file that the speedtest site uses for testing.

Can you try this:
Create a new filter action that allows every category and does not have the "Block spyware" box checked.  Don't have any ext or mime detection.  No blacklist, or blocking or large file.  Leave AV on, but pretty much everything else off.

Does that improve speed?

Also, are you running 9.2?  If you are, there are new things in the log that can help determine speed.  Attach the portion of the httpproxy.log where you are doing the speedtest.

Hi I can confirm I'm getting this on boxes running 9.1 also - web filtering on = diabolical performance - with it off - works a charm! I have a feeling this isn't a 9.2 issue but something deeper in the Sophos realm.

We have discovered a similar issue but tracked the issue to Endpoint Web Control and Endpoint AntiVirus Policy with Web Protection switched on. There is a Sophos Ticket for this which they are investigating.

The issue was post 9.2 install. 

All the Macs were browsing fine with no delay. (sample site cnn.com would load in around 2 seconds but a PC with UTM Endpoint 10.3 would take around 20 seconds)

If we disable web control AND web protection in Endpoint AV policy the issue is fixed

What we are seeing in the web filtering log is a PC with either Web Control or Protection enabled is repeated calls to 

http://http.00.t.sophosxl.net/V3/01/

So from what we can make out the endpoint is scanning each site as well as the UTM. For a site like google.com this makes no difference but anything pulling display adverts and stuff from content delivery networks its checking each of these http requests and causing the performance hit. We know its not the UTM, network, DNS or ISP as the Macs that dont have any web control function in their endpoint run fine.

Initially we thought it was Web Filtering on the UTM, we switched this off and the PCs fly along but it the duplication of the UTM filtering and the Endpoint filtering that were causing it

Right now we have changed the Endpoint AV policy to exclude web protection and disabled web control

So if you have UTM Endpoint check the web filter live log for calls to 

http://http.00.t.sophosxl.net/V3/01/

If you see them I have good money thats where your web browsing delays is

Thanks for this - so switching the web control off should sort it?

sophosxl is the new cloud categorization system.  It is much better than the cff database that used to be used.  The cff is being retained for machines that aren't up to 9.2 yet.

Thanks for this - so switching the web control off should sort it?

As far as I know this only affects you if you are using Sophos Endpoint. If you are you have to:

1. Switch off Web Control for the Group
Endpoint - Computer Management - Computer Group

AND 

2. Switch off Web Protection in the Policy for the same group
Endpoint - Antivirus 

Having EITHER on causes the calls back to Sophosxl.net

Do this, give it a couple of minutes to update the broker service and then manually update your test PC endpoint. Open the Endpoint and confirm WebControl is Disabled and try your web browsing

Keep the Web Filter Live Log open and go to cnn.com (I use this as its pulling all sorts of stuff in) and verify if the sophosxl.net calls are being made

sophosxl is the new cloud categorization system.  It is much better than the cff database that used to be used.  The cff is being retained for machines that aren't up to 9.2 yet.

Yes we know what it is but the Endpoint isn't realising its behind a UTM so its "double scanning" causing horrific delays...

Double Scanning probably isn't the best technical term but its the only way I can describe it.

We know its not the sophosxl.net calls on their own as when I move the test PCs into a group with Web Control and Protection ENABLED and use them on a test soho firewall on our separate networks they go back to fast browsing with protected mode working fine

Move them back to behind the UTM, reboot, they are dog slow