Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 13 replies
  • Subscribers 1 subscriber
  • Views 5743 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Web Filtering causes distorted, overlapping HTTP elements

JMagruder
ASG220 FW: 8.309
Web Filter Global: Std. Mode, AD SSO, AD Users Allowed
Default URL Filter: Allow, no categories blocked, safe search on.

Though we're not aware of recent rule changes on the ASG220, our client recently noticed that Website Design and Hosting | Domains | Website Builder | NetworkSolutions.com page display is distorted, with many HTTP elements overlapping.

Using the same browser, HTTPS://www.networksolutions.com displays normally.

I added "networksolutions.com" to an existing Exceptions rule that skips Caching/URL Filtering/SSL Scanning.  This immediately blocked ALL HTTP traffic. I removed "networksolutions.com" from the exception list and had to reboot the Astaro, before HTTP traffic was restored.

Any ideas what would suddenly cause the web filtering to distort this one particular URL, and why adding the URL to an existing exclusion rule would block HTTP to all URLs?

Thanks for any assistance

JimM


This thread was automatically locked due to age.
  • 0
    Hi, Jim, and welcome to the User BB!

    I'm going to guess that a glance in the Web Filtering log file would show lines with statuscode="502" mixed in with "200" lines where some of the page got through.

    Add 'Antivirus' to an Exception for ^https?://[A-Za-z0-9.-]*networksolutions\.com/

    If that didn't resolve your issue, please post several lines from the Web Filtering log file when you get the overlapping phenomenon.

    Cheers - Bob
    PS I'd be tempted to add ^https?://[A-Za-z0-9.-]* to the domain names you're using in Web Protection - also the escape character "\" in front of the dot as I've done - also the trailing "/" as above.  In REGEX, "." means "any alphanumeric character," so ea.com also matches .
  • 0 in reply to BAlfson
    When we investigated this problem locally in February we determined that network solutions is sending broken HTML back through the UTM because the UTM doesn't do "Accept-Encoding:gzip".

    Network Solutions is sending back different content with/without gzip encoding breaking their own CSS. 

    $ diff 
  • 0
    Balfson,
    Sorry for my slow reply, I finally got a chance to look at the UTM web filter again. I made the changes you recommended to the Exception URLs, but I'm still getting the same overlapping web page elements for Website Design and Hosting | Domains | Website Builder | NetworkSolutions.com. Below is a sample of the Live Log - I didn't spot any statuscode "502"

    Thanks for any additional help.

    Hopkins.103,
    Did you find a fix or workaround for the UTM's problem with gzip encoding? Thanks!
    ________
    Exception URL
    ^https?://([A-Za-z0-9.-]*\.)?networksolutions\.com/

    2013:05:29-12:12:14 utm-1 httpproxy[7134]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="172.16.1.224" dstip="173.194.37.71" user="" statuscode="200" cached="0" profile="REF_HttProNonprUsers (Non-Proxy Users)" filteraction="REF_DefaultHTTPCFFBlockAction (RWOC Normal Users)" size="35" request="0xc1069d08" url="www.google-analytics.com/__utm.gif
  • 0
    I also experienced something similar with dyn.com. Their CSS file was blocked by the proxy as 'bad reputation' while the rest of the site was not. Very weird, but that was a categorization error, not HTTP-Proxy's fault.
  • 0
    Sorry I overlooked your question JMagruder:  We haven't put any effort beyond troubleshooting this functionality issue with the UTM.  

    I do think it would be nice if the UTM proxy supported "accept-encoding: gzip" (trading a bit of CPU overhead for bandwidth?).

    Network Solutions appears to have fixed their site.  Another file we're seeing behave differently:   http://www.craigslist.org/styles/clnew.css  Without gzip encoding the transfer seems to hang at 8322 bytes.
  • 0
    We are too are having some odd issues with Craigslist.org . Sometimes it seems to work and sometimes it doesn't. When it does work it it doesn't seem to have the CSS which would confirm what the log below is saying.  I opened a case with support but initial troubleshooting didn't seem to fix it. 

    sub="http" name="web request blocked" action="block" method="GET" srcip="" dstip="208.82.236.225" user="" statuscode="504" cached="0" url="http://www.craigslist.org/styles/clnew.css?v=7f439fd704b2b9c24345a268155d1f13" exceptions="url" error="Timeout while reading response from Server" content-type="text/css"
    sub="http" name="web request blocked" action="block" method="GET" srcip="" dstip="208.82.236.225" user="" statuscode="504" cached="0" url="http://www.craigslist.org/styles/clnew.css?v=7f439fd704b2b9c24345a268155d1f13" exceptions="url" error="Timeout while reading response from Server" content-type="text/css"
  • 0
    Regarding Craigslist, compare the results of the following:


    $ curl --header 'accept-encoding: gzip' www.craigslist.org/.../clnew.css | gunzip

    $ curl www.craigslist.org/.../clnew.css

    $ curl --header 'accept-encoding: gzip' www.craigslist.org/.../clnew.css | gunzip

    $ curl www.craigslist.org/.../clnew.css
  • 0 in reply to hopkins.103
    Having the same Craigslist problems too.
  • 0 in reply to eganders_01
    Same thing here with craigslist. clnew.css timing out in the logs. Added to exceptions, no change. https://www.craigslist.org/about/sites does work though. craigslist: chicago classifieds for jobs, apartments, personals, for sale, services, community, and events comes through with no css. Anyone found a work around yet?
  • 0
    Client just reported Craigslist issue. Anyone made progress on this yet?