QoS: Limiting Outbound HTTP Traffic

Billybob, I don't disagree with you.  Your post makes me wonder if Astaro shouldn't change the configuration from a description of the proposed solution to a description of the problem...

Cheers - Bob

Well the problem is that QoS wasn't really designed for throttling purposes (don't quote me on that). But down the line some smart people figured that hey they can throttle different services using the same mechanism. I mostly use it at home for my ppoe connection to keep p2p apps choking my uplink pipe.

I don't think astaro's qos is designed for throttling. Its basic function is to make sure a service gets a certain amount of specified bandwidth.Where you take it from there is up to your imagination. But probably would be a great idea if you could just have built in rules where you could just say drop Bob's web surfing to only 56kbps after certain quota is reached. Talking about quotas, has anybody added that to the feature request yet[:D]

As in why do I want to shape? We have multiple protocols that pass through the ASG cluster:

FTP/S to Gene6 in DMZ
HTTP to Apache in DMZ
VPN to branch offices
Numerous protocols NAT'd outbound

My problem is that HTTP/HTTPS is killing our link, stalling our VPN and generally making life difficult for people accessing our FTP and HTTP servers. I'm seeing upto 1.5M URLs being proxied a day.

I have setup QoS rules to guarantee bandwidth to the DMZ services. However, I just want to cap HTTP/S downloads by users behind our firewall. A "cannot exceed" limit if you like. I can do this easily at a switch level but would prefer to do this at the firewall.

Setting a QoS bandwidth pool that covers HTTP/HTTPS from our primary public IP to any with a guaranteed 1024Kbps and a maximum 4096Kbps _should_ to my mind throttle HTTP/S traffic to 4Mbps. But it doesn't. Either I'm deranged, don't understand the functionality or it just doesn't work.

This is what I do on our Brocade switches to cap an interface at 10Mbps:

interface e 1/10
 rate-limit input access-group 105 policy-map DRD_STUDIOS         
  Fwd:        10701725055             Drop:  0 bytes
  Re-mark:    0                       Total: 10701725055 bytes
 rate-limit output access-group 105 policy-map DRD_STUDIOS
  Fwd:        48706933292             Drop:  189448716 bytes
  Re-mark:    0                       Total: 48896382008 bytes

policy-map DRD_STUDIOS
  cir 10237008 cbs 10240000

Either I'm deranged, don't understand the functionality or it just doesn't work.

Is that a multiple-guess question, or can I answer all-of-the-above? [;)]

You're right that thinking about Astaro QoS like Cisco or Brocade will cause you to make the wrong decisions about what to do.

If I understand your situation, the only solution is to limit the HTTP traffic at the switch between the Astaro and the internal network.  As techuser said, the problem is that you can't make explicit QoS rules on the Astaro Internal interface for traffic that goes via the HTTP proxy.

My guess is that the problem is that inbound requests from the Internet are being buried by the downloads by your internal users.  If that's the case, you don't need to limit them to 4 out of 10MB; I guess that a limit to 9.5MB would leave more bandwidth than necessary to handle the requests.

There's a chance that you could use Astaro QoS.  Make a traffic selector 'Internal (Network) -> HTTP -> Any' on the External interface, and limit the traffic to 128KB, maybe only 64KB.  The idea is to limit the volume of packets leaving the Astaro, to limit the volume of requests.

With the new WAN uplink balancing capability, you might get more throughput in both directions at a lower expense with a combination of two or three inexpensive connections.

Cheers - Bob

Ha! I think all of the above is the correct answer.

Actually I like the idea of limiting upstream requests. I'll give it a shot. But those requests are often small.

I think what I will do is shape at the switch level. It's predictable and meets my needs.

I may have that traffic selector wrong.

Instead of 'Internal (Network) -> HTTP -> Any', you might try 'External (Address) -> HTTP -> Any'.