[9.200] Web filtering causing slow internet browsing?

Let me try to explain some things because there is a little misunderstanding.

Endpoints do cloud lookups to sophosxl, these are all very small and fast packets.  In a system that is working correctly the UTM recognizes that these are lookups that are originating from an endpoint that it manages.  When it does so the UTM does no scanning of the traffic that comes from that computer and also should not log the traffic from that computer nor should it log the sophosxl traffic.  The fact that you see sophosxl in the log means that the UTM is not recognising that it manages those endpoints and that there is a misconfiguration or confusion somewhere.  This is a symptom of a problem, not a problem in itself.  In addition to the sophosxl traffic you will likely be seeing regular traffic from the same source ip.

This misconfig (I hate to call it that since it isn't really) can cause things to be scanned twice.  However that shouldn't add seconds of delay.  Note that you can actually force dual scanning (though it should not log) under Endpoint Protection \ Web Control \ Advanced.  Also note that the Endpoint cannot do HTTPS scanning, so if that is done at the UTM.

Note: The endpoint must be configured for the UTM that it is going through to prevent dual scanning.  In other words if you have a work UTM and a home UTM, with a work laptop that has endpoint installed from work.  When you bring that laptop home and put it behind your home UTM it will print those sophosxl messages.  The hyperlink that use used to install an Endpoint specifies the UTM it should be configured for, you must use the correct link/download.

On one of the computers that has endpoint and is slow, can you please uninstall endpoint.  Then use the link from the UTM to download and install a fresh copy.  After install, is it fast or slow?  Do you see sophosxl logs from that endpoint (search for the source ip).

In addition, for someone who is experiencing this problem (endpoints printing sophosxl in logs) can you please post here or PM me your UTM ID (found in Endpoint/ Computer Manangement / Advanced).  We can look at it on Cloud servers tommorrow.

Let me try to explain some things because there is a little misunderstanding.

Endpoints do cloud lookups to sophosxl, these are all very small and fast packets.  In a system that is working correctly the UTM recognizes that these are lookups that are originating from an endpoint that it manages.  When it does so the UTM does no scanning of the traffic that comes from that computer and also should not log the traffic from that computer nor should it log the sophosxl traffic.  The fact that you see sophosxl in the log means that the UTM is not recognising that it manages those endpoints and that there is a misconfiguration or confusion somewhere.  This is a symptom of a problem, not a problem in itself.  In addition to the sophosxl traffic you will likely be seeing regular traffic from the same source ip.

This misconfig (I hate to call it that since it isn't really) can cause things to be scanned twice.  However that shouldn't add seconds of delay.  Note that you can actually force dual scanning (though it should not log) under Endpoint Protection \ Web Control \ Advanced.  Also note that the Endpoint cannot do HTTPS scanning, so if that is done at the UTM.

Note: The endpoint must be configured for the UTM that it is going through to prevent dual scanning.  In other words if you have a work UTM and a home UTM, with a work laptop that has endpoint installed from work.  When you bring that laptop home and put it behind your home UTM it will print those sophosxl messages.  The hyperlink that use used to install an Endpoint specifies the UTM it should be configured for, you must use the correct link/download.

On one of the computers that has endpoint and is slow, can you please uninstall endpoint.  Then use the link from the UTM to download and install a fresh copy.  After install, is it fast or slow?  Do you see sophosxl logs from that endpoint (search for the source ip).

In addition, for someone who is experiencing this problem (endpoints printing sophosxl in logs) can you please post here or PM me your UTM ID (found in Endpoint/ Computer Manangement / Advanced).  We can look at it on Cloud servers tommorrow.

That is exactly the issue! The Endpoint should realise its behind a UTM and not callout to Sophosxl.net. They maybe small and fast but they are definitely the cause of the delay. Switch Web Control and Protection off in Endpoint and things get back to normal and no sophosxl.net calls in the log

My endpoints are not realising they are behind a UTM

What Im trying to get to is what mechanism/process does the Endpoint use to determine its behind a UTM. Has something changed in 9.2 or the fact that my Default Gateway is different to the LAN port on my UTM to blame etc etc. 

I have checked we aren't set to dual scanning...

We have used VMs that are rebooted after each test, New built HP laptops with clean Endpoint installs and Re-installed endpoint on more than one device. The pattern is the same. 

We do have 3 sites and 3 UTMs but staff move between the sites so we have only ever used one installer package from the 'HQ' UTM where Endpoint is activated. Our CEO and management team never move office and their PCs have endpoint installed from the HQ UTM they are behind and he has the issue. However its an interesting point I never knew or was told about during the install by Sophos Pro Services.

I will PM the UTM ID and the current case number

Let me try to explain some things because there is a little misunderstanding.

Endpoints do cloud lookups to sophosxl, these are all very small and fast packets.  In a system that is working correctly the UTM recognizes that these are lookups that are originating from an endpoint that it manages.  When it does so the UTM does no scanning of the traffic that comes from that computer and also should not log the traffic from that computer nor should it log the sophosxl traffic.  The fact that you see sophosxl in the log means that the UTM is not recognising that it manages those endpoints and that there is a misconfiguration or confusion somewhere.  This is a symptom of a problem, not a problem in itself.  In addition to the sophosxl traffic you will likely be seeing regular traffic from the same source ip.

This misconfig (I hate to call it that since it isn't really) can cause things to be scanned twice.  However that shouldn't add seconds of delay.  Note that you can actually force dual scanning (though it should not log) under Endpoint Protection \ Web Control \ Advanced.  Also note that the Endpoint cannot do HTTPS scanning, so if that is done at the UTM.

Note: The endpoint must be configured for the UTM that it is going through to prevent dual scanning.  In other words if you have a work UTM and a home UTM, with a work laptop that has endpoint installed from work.  When you bring that laptop home and put it behind your home UTM it will print those sophosxl messages.  The hyperlink that use used to install an Endpoint specifies the UTM it should be configured for, you must use the correct link/download.

On one of the computers that has endpoint and is slow, can you please uninstall endpoint.  Then use the link from the UTM to download and install a fresh copy.  After install, is it fast or slow?  Do you see sophosxl logs from that endpoint (search for the source ip).

In addition, for someone who is experiencing this problem (endpoints printing sophosxl in logs) can you please post here or PM me your UTM ID (found in Endpoint/ Computer Manangement / Advanced).  We can look at it on Cloud servers tommorrow.

I have just re-read your message again and checked the installer we are using. We are using the full package installer from 9.1 we have saved on a network share

I notice on the 9.2 Endpoint page the installer has changed 

You used to get the option of a slim or full installer now its a different one. 

Question is do we need to go round and re-install this new endpoint on all our PCs to fix the issue! Well I will put this on a test device tomorrow and let you know...

OK I got a test PC removed the old Endpoint and re-installed Endpoint from the link provided on the HQ UTM 9.2 page. So the PC is on the HQ LAN and has the newest/latest endpoint installed from its local UTM

Makes no difference - as soon as Web Control or Protection is enabled the browsing goes back to very slow and the web filter log is showing up all the calls to sophosxl.net

Turn off Control and Protection - test PC browsing back to normal/fast. Calls to sophosxl.net are gone

OK I got a test PC removed the old Endpoint and re-installed Endpoint from the link provided on the HQ UTM 9.2 page. So the PC is on the HQ LAN and has the newest/latest endpoint installed from its local UTM

Makes no difference - as soon as Web Control or Protection is enabled the browsing goes back to very slow and the web filter log is showing up all the calls to sophosxl.net

Turn off Control and Protection - test PC browsing back to normal/fast. Calls to sophosxl.net are gone

My usual workaround to get that SXL latency issue fixed is by creating a exception in the web proxy looking like that one

Skip Authentication, Caching, Antvirus, Extension Blocking, MIME type blocking and URL Filter for "Matching these URLs"

^http://http\.00\.s\.sophosxl\.net/
^http://http\.00\.a\.sophosxl\.net/

If you like, you also can skip the other tests and/or logging, but those above definately should be skipped.

In the past I tried to skip those lookups completely per DNS Groups in the transparent skiplist. But as it collects over the time hundreds of SXL IP addresses, the URL matching seems to be the better approach.

@michael dunn: Maybe this should be a default exception in the UTM anyway ?[H]

My usual workaround to get that SXL latency issue fixed is by creating a exception in the web proxy looking like that one

Skip Authentication, Caching, Antvirus, Extension Blocking, MIME type blocking and URL Filter for "Matching these URLs"

^http://http\.00\.s\.sophosxl\.net/
^http://http\.00\.a\.sophosxl\.net/

If you like, you also can skip the other tests and/or logging, but those above definately should be skipped.

In the past I tried to skip those lookups completely per DNS Groups in the transparent skiplist. But as it collects over the time hundreds of SXL IP addresses, the URL matching seems to be the better approach.

@michael dunn: Maybe this should be a default exception in the UTM anyway ?[H]

I already have that exception in. Also have the sophosliveconnect (all.broker.sophos) DNS group in transparent skip as it says in the manual (yes Im so deep into this I have even read the manual)

These were default exceptions in my install

The full call looks like this

2014:04:13-09:58:28 no16 httpproxy[8949]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.8.12.103" dstip="54.216.33.177" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2" request="0x10feacc0" url="http://http.00.t.sophosxl.net/V3/01/201.197.2.204.ip/" exceptions="av,auth,content,url,ssl,certcheck,certdate,mime,fileextension,size" error="" authtime="0" dnstime="0" cattime="0" avscantime="0" fullreqtime="1819" device="0" auth="0"

So its the cumulative effect of fullreqtime I assume, or some other interaction with the UTM that isn't shown in the log. 

The fact is the Endpoint should recognise it is behind a UTM and disable the web control and protection function. Its not and its causing the delay.

Actually the Endpoint has no clue whether it is behind a UTM or not.  It is the UTM that sees the traffic is coming from an Endpoint and the UTM that stops it's filtering.

Again I want to stress that the sophosxl traffic is a symptom not a cause of slowness.  Its like going to your doctor complaining that you have a cough.  The doctor tells you that you have the flu, but you keep talking about cough suppressants.  Please stop obsessing over the sophosxl being logged.

What I would be more interested in is this:
For the log lines that are sophosxl, take a look at the srcip.  In toby's last post 10.8.12.103.  Now are there any lines in the log that are from 10.8.12.103 but are not sophosxl?  If you see a whole bunch of normal web traffic from that IP being logged that is proof that the UTM is not recognizing the traffic is coming from an endpoint and skipping its checks.

Take a look at eplog.log.  The Endpoints should be logging into that file.  If the file is empty that is another proof of things not configured correctly.

The differences in the 9.1 and 9.2 installer is minimal - in 9.2 we got rid of the full installer and only have the slim.  It will auto update to the latest version anyway.  We found that the full installer would often be saved on a network share, get quickly out of date, and it would autoupdate everything and behave just like the slim installer.  The more important thing is that the installer get a special filename that includes the Token (found on the Computer Management Advanced page).  The token that is part of the filename must match the token of the UTM at the time of install in order for the two to be linked.

Actually the Endpoint has no clue whether it is behind a UTM or not.  It is the UTM that sees the traffic is coming from an Endpoint and the UTM that stops it's filtering.

Again I want to stress that the sophosxl traffic is a symptom not a cause of slowness.  Its like going to your doctor complaining that you have a cough.  The doctor tells you that you have the flu, but you keep talking about cough suppressants.  Please stop obsessing over the sophosxl being logged.

What I would be more interested in is this:
For the log lines that are sophosxl, take a look at the srcip.  In toby's last post 10.8.12.103.  Now are there any lines in the log that are from 10.8.12.103 but are not sophosxl?  If you see a whole bunch of normal web traffic from that IP being logged that is proof that the UTM is not recognizing the traffic is coming from an endpoint and skipping its checks.

Take a look at eplog.log.  The Endpoints should be logging into that file.  If the file is empty that is another proof of things not configured correctly.

The differences in the 9.1 and 9.2 installer is minimal - in 9.2 we got rid of the full installer and only have the slim.  It will auto update to the latest version anyway.  We found that the full installer would often be saved on a network share, get quickly out of date, and it would autoupdate everything and behave just like the slim installer.  The more important thing is that the installer get a special filename that includes the Token (found on the Computer Management Advanced page).  The token that is part of the filename must match the token of the UTM at the time of install in order for the two to be linked.

Yes we see normal traffic going to cnn.com, moatads.com and turner.com etc (ads or CDN loading into cnn.com) coming from the same source IP as the sophosxl.net calls

So its the UTM that should recognise the endpoint then - so the question remains what mechanism/process achieves this. In my scenario it broke post 9.2

in eplog.log I see the test device with Control and Protection enabled sending data to this log. As its the only device with Control and Protection enabled the only stuff there is from the test device

Toby, it looks like you have things configured correctly, and that scanning is taking place in only one place.  I think it would be a feature request to do it the other way as you suggest.

Cheers - Bob

Toby,

You say you're having UTM  Endpoint communication issues with 9.2.  I've noticed some issues as well with my Endpoint not updating their setting if Web Control is turned off.  Once it's turned off the Endpoints are unable to receive policy changes you make from the UTM  (they show as "Offline" in the WebAdmin).  I've documented these issues in another thread (here) .  I wonder if you're issues are similar in nature.