[9.200] Web filtering causing slow internet browsing?

Hi ,

Advanced Treat Protection that was introduced in 9.2.
It can find attacks even inside the network not only from outside to inside.

All my best ,
Gilipeled.

Small problem I have the same issue and we aren't even licensed for ATP [:)]

Buddy007, what is ATP?

I'm so glad you asked that question as I was flicking through this thread and was scratching my head thinking what does ATP stand for [:(]

We have investigated this and determined the underlying problem when using Endpoints behind the UTM causes slow browsing.  There is a workaround for anyone using Transparent Mode.  A full fix that will resolve this for both Standard and Transparent mode is currently in the works.

Transparent workaround:
Remove any workarounds currently in place

Look at your Web Filter logs for entries that go to something like "http.00.t.sophosxl.net".
Note: The exact domain may be different depending on whether you are using UTM managed endpoints or non-UTM managed.

Go to Definitions and Users, Network Definitions, and create a new definition.
Set type to "DNS Group" and set hostname to to the same hostname as appears in the logs.

Go to Web Protection, Filtering Options, Misc, Transparent Mode Skiplist.
Under skip destinations, add the network object you just created and click Apply.

Use the Endpoint and confirm that you do not have any more sophosxl entries in the log.  Report back here if this improves browsing speed.

If you are running into slowness that is not related to Endpoints then please report in a separate thread.

Michael can you give a rundown of the versions affected and symptoms this is expected to resolve?

Is the permanent fix expected in the proxy, the endpoint or both?

1/ Also, I would like to know if this affects not just endpoint deployment from the UTM, but sophos endpoints deployed by a Enterprise console with malware/web protection enabled?

We don't deploy our AV from our UTM, but we do see alot of the "http.00.t.sophosxl.net". from our Sophos AV deployed from our Enterprise console on our network.

2/ when you say "Remove any workarounds currently in place" The sophos UTM as a default install has Filtering Exceptions for the Web Protection, that skip these type of sites - Do we remove this or just turn it off?

Sophos LiveConnect [Allow endpoints to connect to Sophos LiveConnect]
Skipping: Authentication / Caching / Antivirus / Extension blocking / MIME type blocking / URL Filter / Content Removal / SSL scanning / Certificate Trust Check / Certificate Date Check / Block by download size
Matching these URLs: ^https?://mcs[0-9]*-[A-Za-z0-9]{4}\.broker\.sophos\.com/
^https?://mcs[0-9]*-[A-Za-z0-9]{4}-d\.broker\.sophos\.com/
^https?://[A-Za-z0-9.-]*-wdx-[A-Za-z0-9.-]*\.broker\.sophos\.com/
^https?://[A-Za-z0-9.-]*\.upe\.p\.hmr\.sophos\.com/

Sophos Services [Allow Sophos Services]
Skipping: Authentication / Antivirus / Extension blocking / MIME type blocking / URL Filter / Content Removal / SSL scanning / Certificate Trust Check / Certificate Date Check / Block by download size
Matching these URLs: ^https?://[A-Za-z0-9.-]*\.sophosupd\.com/
^https?://[A-Za-z0-9.-]*\.sophosupd\.net/
^https?://[A-Za-z0-9.-]*\.sophosxl\.net/

Here is brief history:
Some people are complaining of a slowness in 9.1 when using endpoints, that gets faster if they turn off Endpoint Web Control.  
Several people are complaining of a similar slowness but only after they upgraded to 9.2.
The vast majority of people are not reporting any issues.
Those people who have this issue also have it for SEC-managed endpoints.
That is why it is been hard to track down.

At this point the "affected versions" is "if you think you are affected" since most people don't have any complaints.  The permanent fix is in the UTM and will be in 9.2 (I don't know if it will be put into 9.1 as well).  This workaround should work for all versions.

There is no need to adjust the exceptions that come out of the box.  I was referring to the fact that some people have turned off Endpoint Web Control entirely - you need to turn it on in order to get the correct domains to skiplist.

stealthmatt, I suspect you are not seeing http.00.t.sophosxl.net you are probably seeing http.00.s.sophosxl.net.  Note the difference from .t. to .s. because one is for utm and the other for sec (there is also .a. for SWA).

Here is brief history:
Some people are complaining of a slowness in 9.1 when using endpoints, that gets faster if they turn off Endpoint Web Control.  
Several people are complaining of a similar slowness but only after they upgraded to 9.2.
The vast majority of people are not reporting any issues.
Those people who have this issue also have it for SEC-managed endpoints.
That is why it is been hard to track down.

At this point the "affected versions" is "if you think you are affected" since most people don't have any complaints.  The permanent fix is in the UTM and will be in 9.2 (I don't know if it will be put into 9.1 as well).  This workaround should work for all versions.

There is no need to adjust the exceptions that come out of the box.  I was referring to the fact that some people have turned off Endpoint Web Control entirely - you need to turn it on in order to get the correct domains to skiplist.

stealthmatt, I suspect you are not seeing http.00.t.sophosxl.net you are probably seeing http.00.s.sophosxl.net.  Note the difference from .t. to .s. because one is for utm and the other for sec (there is also .a. for SWA).

This is annoying because I was specifically told by Sophos

1. I was the ONLY person with this issue, mine was the ONLY ticket logged
2. That the issue is with the endpoint team as that is where the fault is

I find it hard to believe your the only one with a logged ticket with slow browsing. Having said that there has always been slow browsing unless you cache the local content database.

I always thought there was a problem with end points and looking up sites with the utm. But we just set our end points to not have web protection ans just solely rely on the utm for web protection.

This is annoying because I was specifically told by Sophos

1. I was the ONLY person with this issue, mine was the ONLY ticket logged
2. That the issue is with the endpoint team as that is where the fault is

1)
This thread shows you are not the only one with the issue.  However in this thread I specifically told other people who are experiencing this to log a ticket and to tell me.  Yours is the only support ticket that I know of.  I don't know if other were raising support issues or not but I don't think many are.  You are not the only one but I do think that yours is not a common case.  I want to thank you and anyone else who raised support tickets.  That is the only way post-beta that a dev can investigate customer issue.

2)
That is probably a miscommunication due to how Support teams are structured.  There are UTM support people and there are Endpoint support people.  There isn't really a "Endpoint on UTM" support group and you were being passed from one team to another since the UTM team did not know what was wrong.