[8.2] Web Security - Web Filtering allowed networks

 In the configuration tab 'Advanced' in the section 'Transparent mode skiplist' are some internet hosts that will be skipped.

Hi, is the box for "Allow HTTP/S traffic for listed hosts/nets" on the Advanced tab checked or unchecked?

Also, check the 'Content Filter (HTTP/S)' log to see if the traffic is passing via the proxy.

Cheers - Bob

So here are some pictures.

Hi, is the box for "Allow HTTP/S traffic for listed hosts/nets" on the Advanced tab checked or unchecked? 

 It's checked and the WLAN network can reach the listet hosts.  If I uncheck it no data passes from the WLAN network.

For example the host ftp.de.debian.org has the ip 141.67.2.4. If I open a browser from an WLAN attached Client, I get the http directory listing. If I uncheck the "Allow HTTP/S traffic for listed hosts/nets",  I get an can't reach error.

I checked the 'Web Filtering' log, nothing is listed there. Only the internal network connections are shown.

If the allow http/s traffic box is checked it will create a rule to allow traffic to/from any network listed. So if the WLAN network is there it will create an allow rule that will take precedence over the drop rule you created.

If you want to self manage the access, uncheck the allow http/s traffic box and create your own manual packet filter rules to allow traffic to for example ftp.de.debian.org etc.

Does that fix the issue you have or are you seeing more problems?

If the allow http/s traffic box is checked it will create a rule to allow traffic to/from any network listed. So if the WLAN network is there it will create an allow rule that will take precedence over the drop rule you created.

You mean any local network can pass to the hosts from the skip list? So the automatic generated rule for the proxy skip list is like this: 
allow | any -> http/s -> listed hosts.

In the previos versions only the allowed networks from the proxy were used. In my opinion this is a bug. If i need to make manual rules it makes the proxy skip list useless.

If you want to self manage the access, uncheck the allow http/s traffic box and create your own manual packet filter rules to allow traffic to for example ftp.de.debian.org etc.

Does that fix the issue you have or are you seeing more problems? 

yes, that would work.

From the admin manual/in-line help:

Transparent Mode Skiplist

Using this option is only meaningful if the Web Filter runs in transparent mode. Hosts and networks listed in the Skip Transparent Mode Hosts/Nets box will not be subject to the transparent interception of HTTP traffic. This affects both source and destination hosts/networks. However, to allow HTTP traffic (without proxy) for these hosts and networks, select the Allow HTTP Traffic for Listed Hosts/Nets checkbox. If you do not select this checkbox, you must define specific firewall rules for the hosts and networks listed here.

You mean any local network can pass to the hosts from the skip list? So the automatic generated rule for the proxy skip list is like this: 
allow | any -> http/s -> listed hosts.

This means that any local client specified in the skiplist can web surf, bypassing the proxy.  Not that remote hosts listed will have access into your LAN.  It creates hidden firewall rules to allow local skiplist clients outbound access on ports 80 and 443.  It's not a bug, it is providing the means to control traffic in a granular manner, if you so choose to, by unchecking the box.

I'm still missing a thing, so here is a short summarize:

The ASG has three configured interfaces external, internal and wlan.
The only allowed network in the proxy is the internal one and it runs in transparent mode.
The wlan network ist not listed in the proxy skiplists source or destination, but the host ftp.de.debian.org is listed.
And the firewall rules are:
1. DROP | wlan network -> any -> any
2. PASS | internal network -> websurfing -> any

If "Allow HTTP/S traffic for listed hosts/nets" is uncheked, I must configure a rule to allow traffic to/from the listed hosts. And the wlan network can't reach them. So far its clear to me.

If "Allow HTTP/S traffic for listed hosts/nets" is cheked, an autopaketfilter rule is generated to allow traffic to/from the listed.

It creates hidden firewall rules to allow local skiplist clients outbound access on ports 80 and 443. This means that any local client specified in the skiplist can web surf, bypassing the proxy.

So the allowed proxy network (internal) and the hosts from the source skiplist can reach the destination hosts from the skiplist via the autogenerated rules. Correct?
The wlan network ist not configured in the skiplists. But it can reach the listed hosts from the destination skiplist, if "Allow HTTP/S traffic for listed hosts/nets"  checked. Why? This is the point i don't understand.
As you said only local skiplist clients get access. So I think that the bug is that any host can reach the spefified hosts in the skiplist and not only the configured as you said.

So the allowed proxy network (internal) and the hosts from the source skiplist can reach the destination hosts from the skiplist via the autogenerated rules. Correct?

Remember this is a list to skip sites from the http proxy, so the allow rule is not restricted to networks that are allowed to access the proxy. This means other networks will be able to access a site if the "allow access" box is checked.

The wlan network ist not configured in the skiplists. But it can reach the listed hosts from the destination skiplist, if "Allow HTTP/S traffic for listed hosts/nets"  checked. Why? This is the point i don't understand.

if the box is checked the automatic packetfilter rule is allowing access to the site. This is why if you want to control the traffic it is best to uncheck the box. The skiplist does not have a source/destination option, so I have the feeling the allow rule is broad in scope.

As you said only local skiplist clients get access. So I think that the bug is that any host can reach the spefified hosts in the skiplist and not only the configured as you said.

It may be unwanted behavior from your perspective, but this is consistent with Astaro in versions 7 and 8 so I would not call it a bug. If you have a support contract it may be best to start a case if you feel this should change or for further clarification.

So the allowed proxy network (internal) and the hosts from the source skiplist can reach the destination hosts from the skiplist via the autogenerated rules. Correct?

Remember this is a list to skip sites from the http proxy, so the allow rule is not restricted to networks that are allowed to access the proxy. This means other networks will be able to access a site if the "allow access" box is checked.

That's interesting, dilandau.  I would never recommend "Transparent" mode except for a "guest" subnet, but I never considered the possibility that the implied packet filter rules when checking the box would, in addition to '{internal items in 'Transparent mode skiplist'} -> HTTP/S -> Any : Allow', be 'Any -> HTTP/S -> {members of 'Transparent mode skiplist'} : Allow' instead of '{items in HTTP/S 'Allowed networks'} -> HTTP/S -> {members of 'Transparent mode skiplist'} : Allow'.

What if the Proxy is not in "Transparent" mode - does the 'Transparent mode skiplist' still create such a packet filter rule if the box is checked?

Has anyone confirmed these things experimentally, or can one of the developers comment?

Still learning! - Bob

Bob I agree some clarification is needed, as I may be wrong in my interpretation. One could look at the iptable rules to see what gets created when the box is checked.