This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Google Music Beta Upload Issue

Background:
ASG 8.103
4 rules on the firewall

[LIST=1]
  • Any - FTP - Any (Block)
  • Any - HTTP - Any (Block)
  • Internal Network - Any - Internet IPV4 (Allow)
  • Wireless Guest - Email Messaging - Internet IPV4 (Allow)
[/LIST]
Intrusion Protection on
IM/P2P Control on (for the Wireless Guest Network)
HTTP/S Proxy on in transparent mode
FTP Proxy on
Antivirus for HTTP/S, FTP on
AntiSpyware on

Problem:
Ok, so I'm trying to use the Google Music uploader and it won't upload.  I turn HTTP/S Proxy off and it uploads.  URL Filtering is on for the HTTP/S Proxy.  The category which is blocked is the "Suspicious" category.  No changes have been made to the categories themselves.  I tried putting in an exception with the follow RegEx: ^https?://[A-Za-z0-9.-]*google.com  which is probably wrong, but I don't know RegEx so it was complete guess work based on the other exceptions in the list.  I tried looking at the live log for HTTP/S Proxy while trying to upload and I get no blocks in the log.

Anyone have any ideas?

I'd be willing to bet that the uploader sends information to a particular IP instead of a domain name, but without more technical information posted from google or a log entry that I can poke through I can't find out what that might be.  Aside from that does anyone have any ideas where else I could look to find that information or know if I just blew the RegEx statement?

Thanks for any help.

-Bob Adams


This thread was automatically locked due to age.
  • Do you have the "Scan HTTPS (SSL) Traffic" checked?
  • It may not even be using port 80 (web).  Anything showing up in the P2P, pf, or IPS logs that may be blocking the service?

    BTW, you're not the only one having upload issues with the beta service.  Uploading seems to be broken (partially or fully) for quite a few people.  The Cloud Lounge - Google Apps Help
    __________________
    ACE v8/SCA v9.3

    ...still have a v5 install disk in a box somewhere.

    http://xkcd.com
    http://www.tedgoff.com/mb
    http://www.projectcartoon.com/cartoon/1
  • I'm not having any issues uploading except when the HTTP/S Proxy is enabled.   Anyone have any ideas how to create an exception for this service?  Like I said, I have no idea what ports Google Music is using, nor if it using IP addresses or domain names.
  • Hey, Bob,

    Your REGEX looks like it should do the trick.  Do you have everything checked in the exception you created for it? If so, then this may be one of those servers that just doesn't like proxies.

    You said there were no blocks, but could you show us the lines from the 'Content Filter (HTTP/S)' log related to one of these accesses?

    Cheers - Bob
    PS And, like Scott said, be sure to look in the IPS log, too.  And in the "IM/P2P Classifier' log.
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • Ok, here's what I've got.

    The relevant lines from HTTP/S Proxy log:
    [FONT=monospace]2011:06:30-17:22:05  bob httpproxy[11818]: id="0001" severity="info" sys="SecureWeb"  sub="http" name="http access" action="pass" method="GET"  srcip="192.168.12.208" dstip="72.14.204.132" user="" statuscode="304"  cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)"  filteraction="REF_DefaultHTTPCFFAction (Default content filter action)"  size="0" time="38 ms" request="0x9ce5cf90"  url="lh4.googleusercontent.com/.../FONT]
    [FONT=monospace]2011:06:30-17:22:32  bob httpproxy[11818]: id="0001" severity="info" sys="SecureWeb"  sub="http" name="http access" action="pass" method="GET"  srcip="192.168.12.208" dstip="74.125.93.116" user="" statuscode="200"  cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)"  filteraction="REF_DefaultHTTPCFFAction (Default content filter action)"  size="11566602" time="27006 ms" request="0x9ce222f8"  url="t.doc-0-0-sj.sj.googleusercontent.com/stream
    This is the list of blocked file extensions:
    ade,adp,app,bas,bat,chm,cmd,com,cpl,crt,csh,fxp,hlp,hta,inf,ins,isp,jse,ksh,lnk,mdb,mde,mdt,mdw,msc,msi,msp,mst,ops,pcd,pif,prg,reg,scr,sct,shb,shs,url,vb,vbe,vbs,wsc,wsf,wsh
    There are no entries in the IPS log.  Neither are there any entries in IM/P2P Classifier log

    I did see that it seems to be using googleusercontent.com so I changed the exception filter (see attached image) to that with no change in behavior.

    I'm pretty sure the problem is in the HTTP/S Proxy because when I turn it off I'm able to upload just fine.  I just don't know how to create an exception or filter that will make it work.

    Thanks for the ideas guys.  I'll poke around some more and see if I can find something that works.  Of course if you have any other ideas I would love to hear them.

    -Bob Adams
  • Quick related question if anyone knows:  In the network definitions, can a DNS Group use a RegEx expression?  googleusercontent.com by itself is not resolving and as you can see from the HTTP/S Proxy log up there that there are at least two different subdomains associated.  If googleusercontent.com doesn't resolve, I thought that maybe I could use some kind of RegEx statement to pull in all the options.  That way I could put a DNS group in the transparent mode skiplist that would allow for all the traffic going to googleusercontent.com to bypass the proxy.
  • A DNS Group and a DNS Host definition work the same way.  If an FQDN has more than one IP associated with it, I thnk the DNS Host definition only gets the first one.  A DNS Group definition will list all of the IPs.  There's currently no way to have a definition that queries multiple FDQNs, neither with wildcards nor with a REGEX.

    The relevant lines from HTTP/S Proxy log:
    [FONT=monospace]2011:06:30-17:22:05  bob httpproxy[11818]: id="0001" severity="info" sys="SecureWeb"  sub="http" name="http access" action="pass" method="GET"  srcip="192.168.12.208" dstip="72.14.204.132" user="" statuscode="304"  cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)"  filteraction="REF_DefaultHTTPCFFAction (Default content filter action)"  size="0" time="38 ms" request="0x9ce5cf90"  url="http://lh4.googleusercontent.com/MuNMZi_OQGFa3OSO5xrQzVufMn-pCE0CUgAJ2d5tRxL2MHIBNy2SRBvGzTR6=s130-c"  exceptions="" error="" category="177" reputation="neutral"  categoryname="Content Server" [/FONT]
    
    [FONT=monospace]2011:06:30-17:22:32  bob httpproxy[11818]: id="0001" severity="info" sys="SecureWeb"  sub="http" name="http access" action="pass" method="GET"  srcip="192.168.12.208" dstip="74.125.93.116" user="" statuscode="200"  cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)"  filteraction="REF_DefaultHTTPCFFAction (Default content filter action)"  size="11566602" time="27006 ms" request="0x9ce222f8"  url="http://t.doc-0-0-sj.sj.googleusercontent.com/stream?id=be86a511ac1a2655&itag=25&ip=0.0.0.0&ipbits=0&expire=1309468985&sparams=id,itag,ip,ipbits,expire&signature=94CE8DC19D2147D1F9CB7149BD21F69248C90104.3CDDC8F6A793FCC5AEA57D1CE495494498DC3C9&key=sj2"  exceptions="" error="" category="147" reputation="neutral"  categoryname="Streaming Media" content-type="audio/mpeg" [/FONT]

    The first line seems to be a response that 
    "http://lh4.googleusercontent.com/MuNMZi_OQGFa3OSO5xrQzVufMn-pCE0CUgAJ2d5tRxL2MHIBNy2SRBvGzTR6=s130-c"
     was unchanged.  The second line indicates "streaming content" - do you have 'Bypass content scanning for streaming content' checked on the 'Advanced' tab?

    How about the relevant lines now that you changed to googleusercontent.com?

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • No, a regex can't be used in a host/network definition.  A quick check of DNS records for the two remote hosts given above shows that they both resolve to 209.85.225.x addresses.  You could try creating a network definition for that and add it to the transparent skiplist.  I remember having to do this once for a problem with Webex, which uses a ton of subdomains.
    __________________
    ACE v8/SCA v9.3

    ...still have a v5 install disk in a box somewhere.

    http://xkcd.com
    http://www.tedgoff.com/mb
    http://www.projectcartoon.com/cartoon/1
  • Ok, so just for grins and giggles I turned off everything one by one to see if any one aspect was breaking the upload.  I turned off IPS, anti-portscan, FTP proxy, anti-virus on the HTTP/S proxy, URL Filtering on the HTTP/S proxy, IM/P2P blocking, I put the #3 rule above at #1.  I did all of these things and nothing helped.  Before I did all this I went ahead and put google.com and googleusercontent.com in the transparent mode skiplist.  I have done everything I can think of except turn the HTTP/S proxy off to get this thing to upload.  Does anyone know of anything I might have missed?  Or if there is something else I can turn off (besides the proxy).  I would really like to keep the proxy up at all times.  Having to drop the proxy every time I go to upload a song will really stink.

    Thanks in advance.

    -Bob Adams