Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 27 replies
  • Subscribers 0 subscribers
  • Views 12377 views
  • Users 0 members are here
Options
Suggested

[9.200] Web Protection Speeds

StephenWeber
Has anyone else noticed a pretty severe performance decrease on the latest release of UTM 9.2 soft Release?

I've got 3 UTMs, 2 UTM 220 and 1 UTM 320 that have had their Web Protection Speeds significantly reduced.  I've done multiple tests with different policies and still come up with the same problem.  For instance, Facebook today took 2 Minutes to process through the UTM before it started to display the logon page.

Network Traffic, CPU Usage and Memory Usage are all normal.  I've even tried turning off Caching with no success.  The only fix for the speed is to turn off Web Protection.

Web Protection is configured on the Default Profile with Transparent and Agent Authentication.
  • 0
    Hi, the (full) Web Protection logs contain timing information; please take a look at the FULL log and post some samples.

    Barry
  • 0 in reply to BarryG
    Here is a sample of a few lines.  It looks DNStime is really high. 

    2014:03:24-00:12:52 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.8" dstip="165.254.24.158" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="225" request="0xe4da880" url="d1.sophosupd.com/.../sdds.sdu.xml" exceptions="av,auth,content,url,ssl,certcheck,certdate,mime,cache,fileextension,size" error="" authtime="0" dnstime="0" cattime="0" avscantime="0" fullreqtime="61439" device="0" auth="6"

    2014:03:24-00:12:54 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.8" dstip="23.33.187.88" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="225" request="0xe4db320" url="d2.sophosupd.com/.../sdds.data0910.xml" exceptions="av,auth,content,url,ssl,certcheck,certdate,mime,cache,fileextension,size" error="" authtime="0" dnstime="84868" cattime="0" avscantime="0" fullreqtime="137429" device="0" auth="6"

    2014:03:24-00:22:54 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.4" dstip="23.74.2.58" user="" statuscode="304" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" request="0xe1448cc0" url="crl.microsoft.com/.../microsoftrootcert.crl" exceptions="av,auth,content,url,cache,fileextension" error="" authtime="0" dnstime="110547" cattime="0" avscantime="0" fullreqtime="135614" device="0" auth="6" application="http"

    2014:03:24-00:22:58 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.4" dstip="23.74.2.58" user="" statuscode="304" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" request="0xe1448cc0" url="crl.microsoft.com/.../MicCodSigPCA_08-31-2010.crl" exceptions="av,auth,content,url,cache,fileextension" error="" authtime="0" dnstime="0" cattime="0" avscantime="0" fullreqtime="16549" device="0" auth="6" application="http"

    2014:03:24-00:54:09 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.4" dstip="23.33.187.91" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="412" request="0xe4dbdc0" url="dci.sophosupd.com/.../b9e414a77cc7c4679943b752ee67f3ee.xml" exceptions="av,auth,content,url,ssl,certcheck,certdate,mime,cache,fileextension,size" error="" authtime="0" dnstime="40243" cattime="0" avscantime="0" fullreqtime="206331" device="0" auth="6"
  • 0 in reply to StephenWeber
    Hi All, 

    After update 9.193011, I have the same issue. I tried to bypass Astaro(it is in trasp mode) and my router ADSL works great with no such a delay. If I disable Web Filtering, web browsing becomes very fast. In Live Log, I also have Dns Time very high. I have tried to put different public DNS(as well as those of ISP). No way. 

    q2srw77, did you fix it?If yes, how?

    Thank you.

    Luk
  • 0 in reply to StephenWeber
    Here is a sample of a few lines.  It looks DNStime is really high. 

    2014:03:24-00:12:52 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.8" dstip="165.254.24.158" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="225" request="0xe4da880" url="http://d1.sophosupd.com/update/catalogue/sdds.sdu.xml" exceptions="av,auth,content,url,ssl,certcheck,certdate,mime,cache,fileextension,size" error="" authtime="0" dnstime="0" cattime="0" avscantime="0" fullreqtime="61439" device="0" auth="6"

    2014:03:24-00:12:54 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.8" dstip="23.33.187.88" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="225" request="0xe4db320" url="http://d2.sophosupd.com/update/catalogue/sdds.data0910.xml" exceptions="av,auth,content,url,ssl,certcheck,certdate,mime,cache,fileextension,size" error="" authtime="0" dnstime="84868" cattime="0" avscantime="0" fullreqtime="137429" device="0" auth="6"

    2014:03:24-00:22:54 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.4" dstip="23.74.2.58" user="" statuscode="304" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" request="0xe1448cc0" url="http://crl.microsoft.com/pki/crl/products/microsoftrootcert.crl" exceptions="av,auth,content,url,cache,fileextension" error="" authtime="0" dnstime="110547" cattime="0" avscantime="0" fullreqtime="135614" device="0" auth="6" application="http"

    2014:03:24-00:22:58 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.4" dstip="23.74.2.58" user="" statuscode="304" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" request="0xe1448cc0" url="http://crl.microsoft.com/pki/crl/products/MicCodSigPCA_08-31-2010.crl" exceptions="av,auth,content,url,cache,fileextension" error="" authtime="0" dnstime="0" cattime="0" avscantime="0" fullreqtime="16549" device="0" auth="6" application="http"

    2014:03:24-00:54:09 IDSFW httpproxy[12903]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.4" dstip="23.33.187.91" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="412" request="0xe4dbdc0" url="http://dci.sophosupd.com/cloudupdate/b/9e/b9e414a77cc7c4679943b752ee67f3ee.xml" exceptions="av,auth,content,url,ssl,certcheck,certdate,mime,cache,fileextension,size" error="" authtime="0" dnstime="40243" cattime="0" avscantime="0" fullreqtime="206331" device="0" auth="6"


    your utm is having dns issues.  How is the dns for your utm setup?

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    what is everone's dns config who is having issues?  I have 3 of these deployed without issues so i'm curious about dns configurations in your cases.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    The logs do not show any particular problem with DNS.

    All *time is measured in microseconds.  The actual time will depend on who has cached the answer.  On box, your DNS within company, your ISP, the root server...

    Your worst dns is about 100ms, suggesting that it is having to go to ISP or higher to get the correct IP.  These are logs of background stuff that is every 10 minutes, it could easily have expired out of different levels of DNS cache.

    These logs are not related to facebook taking 2 minutes to load.
  • 0
    Hi,

    If the Proxy log does not have evidence of a problem, everyone should also check their IPS, firewall, and Application Control logs.

    Barry
  • 0
    Two things:

    1)
    The majority of these are to sophosxl.net, which comes from Endpoints doing some cloud lookups.  These should not be logged if the Endpoint is correctly working and going through the UTM that manages it.
    Can you please confirm that you are using an Endpoint, and that the Endpoint should be managed by that UTM.  If so, then we need to figure out why the Endpoint/UTM is not working correctly.  Potentially you are filtering on both the Endpoint and UTM, which could be slowing things down.
    If the Endpoint is managed by a different UTM, then this is expected.

    2)
    The only real request (eg not sophoxl) took 54ms, well within normal.  You can see this within the fullreqtime= (measured in microseconds).
    Can you please try to find other logs that give a better indication of the slowness?
  • 0
    54 ms is a large delay especially if you take into the proagation delays on top of that categorization delay.  If i can find my post again i'll repost why the cff databases are a bad idea...can we get the utm itself to use the sophosxl.net?  Is hte turn on the nedpoint protection trick still valid?

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    William:

    54 ms to proxy is not significant.  For many sites, this is round trip ping time.  I suspect the majority of the 54 ms is out on the internet, not delay added by proxy.

    In this case, the lferrara is already using endpoint and SXL and the categorization took 319 microseconds - it is onboard cache.

    William, do you think that Iferrara is complaining about slow internet that gets faster when he turns off proxy because of a 54ms page load?  Do you think he is complaining about a 0.3ms categorization time?  Do you think that 100ms for a DNS lookup is an unusual time if the answer is not cached?

    Please do not confuse this thread by posting opinions about speed that are not relevant to the logs and problems that people are complaining about.


    Note: Regarding DNS, try doing a dig against a site that you have never visited.  For example, I just tried a dig for www.super8.com and had a query time of 452 ms.  A second query took 1 ms (suggesting on computer cache).  I then waited 5 minutes and did a third query and it took 10 ms (suggesting it had to go to local DNS server).  That is all different levels of DNS caching.
Unfiltered HTML