Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 18 replies
  • Subscribers 1 subscriber
  • Views 12590 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Web Filtering blocking "uncategorized" Sub-Domains

GrandMasterJ
I use the URL filtering with Decrypt and Scan and I block "uncategorized."  Has been working well until the last couple of updates.  Now sub domains of regularly categorized websites are "uncategorized" and blocked.  Example:  Amazon.com works fine.  Searching for "Wonder Forge Richard Scarry" on Amazon is blocked.  Not just Amazon, but I saw it on Expedia and other well-known sites.

What the heck happened?!  Worked just fine until the latest 9.2 and 9.3 update (was hoping 9.3 fixed the problem).

Besides no longer blocking "uncategorized," has a new option been made available for sub-domains and hidden in the UI that I missed?


This thread was automatically locked due to age.
  • 0
    Please show a representative line from the Web Filtering log.

    Cheers - Bob
  • 0 in reply to BAlfson
    As requested!  Man, I hope this looks cleaner after post...

    In this case, "whois.domaintools.com" is passed(first GET request), but attempting to access "whois.domaintools.com/.../

    I cut out some of the middle transactions since they were just for loading background images and the like.  Minus the fav.ico, they were passed as well.

    *I am using reputation rating too -> block below "unverified."  Does that muck things up?

    2014:12:14-22:00:28 SophosUTM httpproxy[5342]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.0.8" dstip="8.247.98.160" user="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="4922" request="0xfe56000" url="whois.domaintools.com/.../html"

    2014:12:14-22:00:28 SophosUTM httpproxy[5342]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.0.8" dstip="8.247.98.160" user="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="6737" request="0xe2045000" url="whois.domaintools.com/.../style.css

    2014:12:14-22:00:57 SophosUTM httpproxy[5342]: id="0060" severity="info" sys="SecureWeb" sub="http" name="web request blocked, forbidden category detected" action="block" method="GET" srcip="192.168.0.8" dstip="" user="" ad_domain="" statuscode="403" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="3367" request="0xe27e1000" url="whois.domaintools.com/.../

    2014:12:14-22:00:57 SophosUTM httpproxy[5342]: id="0060" severity="info" sys="SecureWeb" sub="http" name="web request blocked, forbidden category detected" action="block" method="GET" srcip="192.168.0.8" dstip="" user="" ad_domain="" statuscode="403" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="3319" request="0xfe56000" url="whois.domaintools.com/.../537.36" exceptions="" reason="category" category="9998" reputation="unverified" categoryname="Uncategorized"
  • 0
    I'm on 9.304 and don't see this here or at any customer on 9.304.  I'm curious, what happens if you make an Exception for anti-virus for ^https?://whois\.domaintools\.com instead of whitelisting it?  fullreqtime="28553608" isn't normal - that's over 28 seconds.

    Cheers - Bob
  • 0 in reply to BAlfson
    I'm on 9.304 and don't see this here or at any customer on 9.304.  I'm curious, what happens if you make an Exception for anti-virus for ^https?://whois\.domaintools\.com instead of whitelisting it?  fullreqtime="28553608" isn't normal - that's over 28 seconds.

    Cheers - Bob


    Still blocked.  I didn't wait 28 seconds for a page load unless it was still scanning while I stared at the "Sophos blocked for uncategorized" screen.

    Resources are fine.  Nothing is pegged.
  • 0
    Hi guys.


    Thank you GrandMasterJ, this log was exactly what I needed.

    I am tracking this as an SXL server problem.  I think this is related to the other the other uncat thread (https://community.sophos.com/products/unified-threat-management/astaroorg/f/55/t/46607)

    In order to raise priority, feel free to raise this issue with Support.
  • 0 in reply to Michael Dunn
    Hi guys.


    Thank you GrandMasterJ, this log was exactly what I needed.

    I am tracking this as an SXL server problem.  I think this is related to the other the other uncat thread (https://www.astaro.org/gateway-products/web-protection-web-filtering-application-visibility-control/54894-web-filtering-all-sites-tagged-uncategorized.html)

    In order to raise priority, feel free to raise this issue with Support.


    I did see that thread prior to mine, but am not running the Endpoint client software.  All the blocking is happening on the URL filter side.
  • 0
    9.3x uses SXL as the default URL filter.
  • 0
    For anyone who is experiencing unexpected "uncategorized" the problem will be fixed on the SXL servers in the next day or two.  No client side changes are needed.
  • 0
    Hi Michael.

    We are experiencing the issue here since upgrading to the 9.3 platform and using SXL.  It is very frustrating for a K-12 school district that relies on content filtering of uncategorized sites for primary grades.  I have many emails from faculty and staff to unblock websites that worked fine in the past.  

    So you are aware of it and it will be taken care of on the SXL servers, correct?  I am still getting some come up today (wikipedia.org being the most reported).

    P.S. - we are a premium support customer and I do have a ticket open for this issue
  • 0
    The fix is done and is awaiting deployment.  I don't know when that will be but it should be soon (within the next few days).  If you are talking to support you can say mention you are waiting for the deployment of SUPP-17027.

    The underlying issue is a data problem in the source data causing some sites to be categorized yet have specific paths that are not categorized (which cause SXL to treat the whole site as uncat).  The fix is a code workaround to the data problem.