[9.200] Web Protection Speeds

Even more Specific is that if the Sophos Endpoint Web Intelligence Service is stopped the Web Filtering speeds go back to normal.  Web Pages load almost instantly. Starting this service immediately increases the Web Page loading time drastically even for a page that you just opened and simply refreshed.

Guys, please hold on this line of thought.  You are confusing symptoms and causes and drawing incorrect conclusions.

First of all, the http.00.s.sophosxl.net logging has been there since 9.1.  If you go back and look at any of your logs from six months ago you will see the exact same things in your log.  Since you weren't complaining of slowness back then this it isn't the cause, is it?


Second of all, the http.00.s.sophosxl.net are NOT the cause of things being slow.  These pass through the proxy with all those exceptions which skips all the scanners.  You can see the fullreqtime is ~50ms which is basically just round trip packet time.  Again, these have been occurring for a year with no issue.

Next thing is the http.00.s.sophosxl.net indicate that that the Endpoint is doing categorization - which it should when it is doing Web Protection.  Therefore these being logged is actually a sign of a healthy system.  

If i may draw an analogy...  Lets say you have a car that is having problems.  Then you notice that whenever you driving your car the engine temperature go from Low to Medium.  Since you never noticed this before you start to panic and take it to the mechanic saying your engine is overheating, when in fact Medium is the normal operating temperature.  Meanwhile your mechanic is trying to track down an engine overheating problem instead of your real issue.

The endpoint software itself can be thought of as a tiny proxy running on the Windows computer, proxying all the traffic to the UTM.  The normal web traffic that gets proxied to the UTM has an additional header called X-Sophos-Filter, which with some secret keys the UTM decodes and determines that the traffic comes from an endpoint that it owns and passes it through the proxy without scanning or logging.

On the Endpoint itself, there are a variety of Services, two of which are involved with the Endpoint internal proxy.  Stopping off these services will turn off the proxy, will stop the sophoxl calls, and is effectively the same thing as configuring Endpoint Web Control off.

I absolutely agree that there are some people (not many) who are having this problem.  But please do not mistake something in a normal system (sophosxl) as a cause of a problem in your non-working system.  There is a problem with the interaction between Endpoint and the UTM.  The problem is not sophosxl.

For anyone experiencing this problem please raise the issue with support.

Hi, I also have performance problems, think its related how hou describe this.
Since it is a HomeEdition, I can not conntact Sophos direct. So any idea how to fix it?
I looked with a sophos partner at it, he confirmed a right configuration.
If sophos wants to remote debug, i can give access, or i can send another machicne as VM, becaus i testet it also on a VM with the same experience,,

Thanks Thomas

We have investigated this and determined the underlying problem when using Endpoints behind the UTM causes slow browsing. There is a workaround for anyone using Transparent Mode. A full fix that will resolve this for both Standard and Transparent mode is currently in the works.

Transparent workaround:
Remove any workarounds currently in place

Look at your Web Filter logs for entries that go to something like "http.00.t.sophosxl.net".
Note: The exact domain may be different depending on whether you are using UTM managed endpoints or non-UTM managed.

Go to Definitions and Users, Network Definitions, and create a new definition.
Set type to "DNS Group" and set hostname to to the same hostname as appears in the logs.

Go to Web Protection, Filtering Options, Misc, Transparent Mode Skiplist.
Under skip destinations, add the network object you just created and click Apply.

Use the Endpoint and confirm that you do not have any more sophosxl entries in the log. Report back here if this improves browsing speed.

Hi Michael,

I tried you suggestion creating DNS Group with "http.00.s.sophosxl.net" into it. Added to skip destination into Web Filtering Trasparent mode skiplist and now Internet Surfing is fast as it was before. No more sophosxl.net into Web Live Log. 

If you need other info or test, reply back.

Luk.

Iferrara thanks.  One quick question.  Was it fast before and then slowed down?  What was the change between the original fast and then slow?

Hi Michael, 

with 9.1*** Internet surfing was fast. From one version of 9.2 beta, internet is very slow(only on computer protected by UTM endpoint). For example on my iPhone internet never getted slow.