Problems unblocking streaming media for specific users

filter categories are blocking mechanisms, so specifying the streaming media category would indeed block access to youtube (amongst others)

What profile definitions / filter assignments / filter actions did you create?

Hi, Paul,

When posting a question, always specify the version of Astaro.  When asking a question about Web Security, always say whether you are running the web proxy in "Transparent" or "Standard" mode.

Please post the relevant line from the httpproxy log file.

Cheers - Bob

filter categories are blocking mechanisms, so specifying the streaming media category would indeed block access to youtube (amongst others)

What profile definitions / filter assignments / filter actions did you create?

Profile definition: A network definition for a single user by the hostname of his computer. Type is set to DNS host and the interface is internal. 

We did not create any filter assignments or actions -- just a web filtering exceptions list with only his network definition/hostname specified. Should we create a filter assignment instead?

Hi, Paul,

When posting a question, always specify the version of Astaro.  When asking a question about Web Security, always say whether you are running the web proxy in "Transparent" or "Standard" mode.

Please post the relevant line from the httpproxy log file.

Cheers - Bob

BAlfson,

Thanks. We're using version 8.203. We are not running in either mode, because we've traditionally just created exceptions lists. If it's better to create the filter assignments, I will look into that and see if it fixes the problem.

Also, what is the difference between Transparent and Standard mode? If I set up a filter assignment and want the user to be able to access the same sites as everyone else, do I check all of the categories that we have checked for the general exceptions list?

If you are not using the proxy, then you are running basic firewall rules for port 80/443, in which case you would not be using exception lists. 

If you are creating exception lists under Web Security-> Web Filtering, then you must also be using the proxy [:)] If nothing else, then on the first page you can set the proxy to be standard or transparent.

Basically, if you are using proxy, and are using it in standard mode, then your browser(s) must be aware of the proxy and refer to it via the adress of your LAN interface (in most cases the same as your default gateway) and have the correct port setting (default 8080). In IE this would be set under Internet Options->Connections->LAN Settings

If your browsers are not aware of a proxy, then you could be using the proxy in transparent mode. Basically, this checks web requests on port 80/443 and then acts like a proxy. As far as your browser is concerned, direct internet access is being performed, but Astaro is acting as the middle-man, creating a much safer and controllable way for your users to browse, mostly in the same way as if standard mode was used.

Standard Proxy mode offers the most options, since browsers specifically address the proxy server for their web requests. Therefore, the proxy can also handle web requests with ports other then 80/443

Transparent Proxy mode processes ports 80/443, while other ports in web requests will have to be addressed through firewall rules.

If you really want to distinguish different users/computers/groups, then yes, proxy profiles are the way to go. There you can set which categories are allowed, eg streaming media, and also distinguish between subnets / machine groups who can and cannot use proxy in standard or transparent mode. Much more then the definition you gave...

So to avoid confusion, please tell a bit more about your situation:

• Are your browsers set to use a proxy (manually, through policies etc) and do they point to astaro
  
• If not, are you granting acces to websites on port 80/443 through your firewall rules or...
  
• Is your Web filtering turned on and is proxy mode set to transparent?
  
  
• Since you are referring to a user: Is there any authentication mechanism set (Like eDirectory or AD SSO)?
  

A network definition for a single user by the hostname of his computer. Type is set to DNS host and the interface is internal. 

Although it doesn't sound like this is your problem at  present, you should never (unless instructed to do so by an Astaro Support person) bind a definition to an interface as that usually causes routing problems.  Please go through the list of all of your definitions and edit any that are bound to an interface to have 'Interface: >'.

We're using version 8.203.

Some of the fixes for V8.2 issues went into 8.3 instead of into an 8.204.  Again, your issue isn't the version, but I would suggest that you Up2Date to 8.301 when convenient.

Standard Proxy mode offers the most options, since browsers specifically address the proxy server for their web requests.

He's right.  In fact, if you're using the 'Transparent mode skiplist' on the 'Advanced' tab, then you must be in "Transparent" mode as the skiplist only is effective in Transparent.  Since you spoke of creating a DNS Host definition with the users computer name, I suspect you have Active Directory.

Using "Active Directory - SSO" authentication allows you to create Security Groups in AD and to manage people's web access based on the AD group that they're in.  It's truly a powerful, granular tool.  If you want to set that up, start with HTTP/S Proxy Access with AD-SSO (Caution, the section "Configure User Authentication" should be eliminated as it has no effect on AD-SSO and can cause problems in larger organizations).

Having said all that, I suspect that your problem with the exception is that you don't have the necessary URLs listed - that's why my first post here asked for the line(s) from the Content Filter (HTTP/S) (in 8.2, I think.  In 8.3, it's been renamed to Web Filtering) log file.

Cheers - Bob

If you really want to distinguish different users/computers/groups, then yes, proxy profiles are the way to go. There you can set which categories are allowed, eg streaming media, and also distinguish between subnets / machine groups who can and cannot use proxy in standard or transparent mode. Much more then the definition you gave...

So to avoid confusion, please tell a bit more about your situation:

• Are your browsers set to use a proxy (manually, through policies etc) and do they point to astaro
  
• If not, are you granting acces to websites on port 80/443 through your firewall rules or...
  
• Is your Web filtering turned on and is proxy mode set to transparent?
  
  
• Since you are referring to a user: Is there any authentication mechanism set (Like eDirectory or AD SSO)?
  

Thanks. I get the differences between Transparent and Standard Mode now. Makes sense. We're definitely using Transparent Mode. I'll look into setting up proxy profiles as well.

To answer your questions:

- No, our browsers are not set to use a proxy.
- Yes, web filtering is turned on and is set to Transparent Mode

Although it doesn't sound like this is your problem at  present, you should never (unless instructed to do so by an Astaro Support person) bind a definition to an interface as that usually causes routing problems.  Please go through the list of all of your definitions and edit any that are bound to an interface to have 'Interface: >'.

Thanks for the tip. We definitely were not aware of this.

Some of the fixes for V8.2 issues went into 8.3 instead of into an 8.204.  Again, your issue isn't the version, but I would suggest that you Up2Date to 8.301 when convenient.


He's right.  In fact, if you're using the 'Transparent mode skiplist' on the 'Advanced' tab, then you must be in "Transparent" mode as the skiplist only is effective in Transparent.  Since you spoke of creating a DNS Host definition with the users computer name, I suspect you have Active Directory.

Using "Active Directory - SSO" authentication allows you to create Security Groups in AD and to manage people's web access based on the AD group that they're in.  It's truly a powerful, granular tool.  If you want to set that up, start with HTTP/S Proxy Access with AD-SSO (Caution, the section "Configure User Authentication" should be eliminated as it has no effect on AD-SSO and can cause problems in larger organizations).

Having said all that, I suspect that your problem with the exception is that you don't have the necessary URLs listed - that's why my first post here asked for the line(s) from the Content Filter (HTTP/S) (in 8.2, I think.  In 8.3, it's been renamed to Web Filtering) log file.

Cheers - Bob

We were basically adding youtube.com as the URL to an exception for his hostname, which did open the site itself -- just not the video content. I do have a 'Web Filtering' section, but only have a live log option. I do not see a section called 'HTTP/S.' Am I looking in the wrong place?

We were basically adding youtube.com as the URL to an exception for his hostname, which did open the site itself -- just not the video content. I do have a 'Web Filtering' section, but only have a live log option. I do not see a section called 'HTTP/S.' Am I looking in the wrong place?

Live log option should work fine if you can capture the moment so to speak, but you can find also find this log option, both live and archived, under Logging and Reporting -> View Log Files -> Web Filtering

Sill, I'm not sure where you've created the exception. According to the info you gave You have Web Filtering enabled, Transparent mode, No authentication method. You then have URL filtering set where multimedia sites are blocked, either by using the whitelist or blacklist method and have created an exception list for Youtube url , originating from the dns hostname of your user. Correct?

You could check the 'Advanced' section to see if the option 'Bypass content scanning for streaming content' is enabled. If not, this could be a possible cause.

And if your user is running a Windows 7 64 bit and trying to view Youtube though Internet Explorer, be sure that he is using the 32 bit Internet Explorer. 64 bit Internet Explorer does not support flash as far as I know...

Sill, I'm not sure where you've created the exception. According to the info you gave You have Web Filtering enabled, Transparent mode, No authentication method. You then have URL filtering set where multimedia sites are blocked, either by using the whitelist or blacklist method and have created an exception list for Youtube url , originating from the dns hostname of your user. Correct?

This is correct.

You could check the 'Advanced' section to see if the option 'Bypass content scanning for streaming content' is enabled. If not, this could be a possible cause.

This option is enabled.

And if your user is running a Windows 7 64 bit and trying to view Youtube though Internet Explorer, be sure that he is using the 32 bit Internet Explorer. 64 bit Internet Explorer does not support flash as far as I know...

Everyone is on 32-bit here.

Is it possible that this is some kind of bug? I would attempt to get something from the logs but wouldn't know what to look for, and opening the logs causes my computer to freeze.

No bug that I know of.

Like Balfson said, it is important to see what the log shows, since it might list URL's that also need to be in the exception list.

Opening logs should not cause your computer to freeze, but there are several ways to get the info, perhaps the following will work:

If live log causes your system to freeze, have the user make the attempt, then try Logging and Reporting -> View Log Files -> Search Log files. Log File to Search=Web Filtering, Search term  , Select Time frame today. Then post the most recent entries that will show, starting with the first line where youtube is mentioned.

khardeveld,

I managed to capture some data after attempting to access the YouTube videos. However, the files are apparently exceeding the 19 KB attachment limit here (they're both 20+ KB) and when I paste them into the body of this message, they are exceeding the maximum character length allowed. What should I be looking for so that I can paste it? Thanks.

Edit:

Here are a couple of lines in case it helps any:

2012:04:05-11:22:45 astaro httpproxy[6154]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.16" dstip="72.14.204.91" user="" statuscode="301" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" request="0xc2f70488" url="youtube.com/" exceptions="content,url" error="" 
2012:04:05-11:22:45 astaro httpproxy[6154]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.16" dstip="72.14.204.190" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="175422" request="0xc5e45488" url="www.youtube.com/.../html" 
2012:04:05-11:22:45 astaro httpproxy[6154]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.16" dstip="173.194.73.147" user="" statuscode="302" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="295" request="0xc4467468" url="www.google.com/.../103602492921947740476
2012:04:05-11:22:45 astaro httpproxy[6154]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.16" dstip="72.14.204.138" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="16965" request="0xb59db68" url="i1.ytimg.com/.../jpeg" 
2012:04:05-11:22:45 astaro httpproxy[6154]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.1.16" dstip="72.14.204.138" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="1849" request="0xc4b5ee60" url="i1.ytimg.com/.../1.jpg