Application Control And Google Web Cache Problem

what a cool workaround..[:)]  Not cool if you are trying to block youtube...but nice workaround.

do you have https filtering turned on?  YOu can have it do url filtering of https without having to intercept the secure session.

that's interesting to say the least when you look at the reports.

Hey William,

Thanks for your reply.

I retried these tests by blocking youtube just using web filtering. Even with https scanning enabled, I was able to browse all youtube content fine through the google web cache.

At least Application Control made it difficult on most browsers.

I also tried enabling both, but it appears web filtering kicks in before application control. 

I'm still running tests and playing with the options and I'll hopefully upload a new video with my findings soon.

Cheers!
Scott

First of all, I have never had a bug report or "screenshot" so detailed.  Thanks.  [:)]

On the utm, can you look at /var/log/http.log (in the WebAdmin it is View Log Files, Web Filtering).
Specifically you want to look at the part of the each log line that says application=""

This is the detected application for the purposes of App Control.  I don't really know how App Control does its detection, there it is.  I suspect that there is some stuff about tcp streams (eg if you have detected a certain connection as an app you dont later redetect it as a different app).

So if you have cases where it is application="youtube" and you were allowed - this is problem of not blocking when it should.

If you have cases where you are at youtube.com and the application is incorrect - this is a problem of application detection.

This doesn't really help you, but gives you some insight.

Battling videos:
https://www.youtube.com/watch?v=KNTLGxCG7IY

A few days later someone posts a video almost exactly the same but showing how to block.

Do you guys know each other?

Their solution (blocking the anonymizer category) is a good (and bad) one because it is not youtube specific.  The google web cache can be used to get around all sorts of blocks and this stops all of them.  The flip side is you that you cannot use the cache for "good" purposes either.

Hey Michael,

Thanks for getting back to me. 

Yes, that second video you posted above is also mine (I'm a co-founder at Fastvue). After a few days of poking around with it, I found that blocking the Anonymizers Category is probably the best way to go and decided to put that video together. I was going to post it here but you beat me to it.

Given that Sophos UTM categorizes it as an Anonymizing Utility, then blocking it will also cover a range of evils. I'm not certain that is the best category for webcache.googleusercontent.com but it does help in this case. 

I don't know what other use cases there are for retrieving sites from Google's web cache. Perhaps a web site administrator you would like to know what copy of your website Google has crawled, indexed and cached. So blocking it would prevent you from looking it up.  I'm also a web site administrator and have never really had this need, so I think it's an extreme edge case.

Perhaps Google uses this domain for directly serving content for some of its other applications? In which case those applications will start behaving strangely. But you'd think that if the Google web cache is unavailable then the original site content would be retrieved instead.

Either way, it seems Application Control does kick in when actually watching youtube videos through 'webcache.googleusercontent.com', but the page itself is not considered the youtube application.

It still doesn't explain the inconstant behaviour I saw in Firefox when ONLY using Application Control (no web filtering), where accessing youtube through the google cache seemed to open up youtube.com completely.

Good idea about checking the application field in the live log. I'll give this a go and report back (if I can reproduce the problem).

Cheers!
Scott

Okay. When playing a youtube video through the Google Cache, the application field in the Live log is set to google or googvido.  

For example, for this video:
http://webcache.googleusercontent.com/search?q=cache%3Ahttp%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DA4vE_vpkr90&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US[:$]fficial&client=firefox-a&channel=sb

Here are a few of the log records for the streaming content:

2014:03:05-09:36:22 SophosUTM92 httpproxy[14447]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.211.55.2" dstip="173.194.57.86" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="1134592" request="0xdb2bba0" url="r17---sn-q4f7dnl7.googlevideo.com/videoplayback
2014:03:05-09:36:22 SophosUTM92 httpproxy[14447]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.211.55.2" dstip="173.194.57.74" user="" statuscode="302" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" request="0xdb2bba0" url="r5---sn-q4f7dnl7.googlevideo.com/videoplayback
2014:03:05-09:36:23 SophosUTM92 httpproxy[14447]: id="0066" severity="info" sys="SecureWeb" sub="http" name="web request blocked, forbidden application detected" action="block" method="GET" srcip="10.211.55.2" dstip="" user="" statuscode="403" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="4553" request="0xdc3aee0" url="s.youtube.com/.../watchtime
2014:03:05-09:36:23 SophosUTM92 httpproxy[14447]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.211.55.2" dstip="173.194.57.86" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="237568" request="0xdc3a660" url="r17---sn-q4f7dnl7.googlevideo.com/videoplayback
2014:03:05-09:36:23 SophosUTM92 httpproxy[14447]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="POST" srcip="10.211.55.2" dstip="173.194.33.110" user="" statuscode="204" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="142" request="0xdc3a660" url="s.youtube.com/.../atr
2014:03:05-09:36:27 SophosUTM92 httpproxy[14447]: id="0066" severity="info" sys="SecureWeb" sub="http" name="web request blocked, forbidden application detected" action="block" method="GET" srcip="10.211.55.2" dstip="" user="" statuscode="403" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="3657" request="0xdc3b760" url="s.youtube.com/stream_204
2014:03:05-09:36:28 SophosUTM92 httpproxy[14447]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.211.55.2" dstip="173.194.57.74" user="" statuscode="302" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" request="0xdd14000" url="r5---sn-q4f7dnl7.googlevideo.com/videoplayback
2014:03:05-09:36:30 SophosUTM92 httpproxy[14447]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.211.55.2" dstip="173.194.57.86" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="1134592" request="0xdd14880" url="r17---sn-q4f7dnl7.googlevideo.com/videoplayback
2014:03:05-09:36:33 SophosUTM92 httpproxy[14447]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.211.55.2" dstip="173.194.33.110" user="" statuscode="204" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" request="0xdd14880" url="s.youtube.com/.../watchtime


-----

I added the 'Google Video' application to my Application Control rule and now videos cannot be played. Interestingly I didn't get the 'An error has occurred' message like I did in my last video. It just didn't play. 

So anyway, I guess if you really want to block youtube you just need to ensure the Google Video application is also blocked.

About a month or so ago, YouTube started streaming content from the googlevideo.com domain.

Previously, the streaming data was served only from the youtube.com domain, so blocking the YouTube application would have worked fine up until a month (or so) ago.

I hope this helps!

Cheers!
Scott

I have used cache occasionally if a site is down, or if the content has changed.

For example, recently I was looking up a specific part number for something.  Google returned a hit on a particular site, but when I went there they page immediately redirected to the home page and I could not find the part.  I used the google cached version to see that indeed they used to sell the part but they don't anymore.

Yep, that's a fair use case.

I guess it's a compromise for the UTM admin - let people access cached content, including blocked sites, or not.

It would be cool if the UTM could detect the sites retrieved via the cache and apply the normal filtering rules to them as if people were accessing the actual site.

Cheers!
Scott