[8.174][INFO][NONE] HTTP Proxy Memory Usage

As a user at the far end of the world where on a good day, one and only one of servers comes in under 100msec, the database has made a huge difference.

During the beta testing the performance improvement was very noticable, now waiting for the fix.

Now, the Australian market might not be that big, but a good selling point is the high performance of the webbrowsing functions while offering high/managed security for the viewed sites.

Now I don't know about the rest of the world, but I do know my senior managers get very stroppy if the web is too slow by their definitions.

Ian

Hey guys, thanks for all the positive feedback.

kbr, ... the local content filter DB "Saved our Bacon"

Well, then that's one very good reason to use the local DB. Happy to see that it helped you there.

I will have to disagree with you on this kai. There is a noticeable improvement on the proxy response when running the local db even from the disk. 
...  If someone doesn't want to run the local db it should be their choice specially for something that astaro is already capable of doing. 

.... a good selling point is the high performance of the webbrowsing functions ...

Bill, Ian, the whole point of this feature is to improve the performance.


Let me be a little bit more specific to what my point is:

This feature does come at a cost. The local content filter DB is large, and puts a huge amount of stress on either the RAM and/or the the Disk-IO. If you run this feature on a crappy box, you'll make your surfing experience even worse. You need lot's of RAM to enjoy the extra snappiness. So my only point here is:

Don't complain about RAM usage when enabling the local content filter DB feature.

This feature is not a secret "Wunderwaffe" to fix all websurfing performance problems, it's just one way to solve one specific bottleneck. Understand that, use it wisely and whenever you see that it helps you, but always keep in mind that it comes at the cost of RAM and Disk-IO. We're simply trading memory for speed here... 

And that's my whole point. It comes at a cost, and you know it...

Cheers,
Kai

Hey Bruce,

... I hope they are still planning, at some point, to make that an official feature ...

Since the feature requires an extra amount of memory, we will probably have to build some kind of threshold-check into the ASG first, so you can only enable it when you have at least N Gigabytes of RAM in your box. We still have a whole lot of 512K and 1GB boxes out there that aren't capable of handling that extra load.

The feature will stay in the ASG, but please don't hold your breath while waiting for a button in the webadmin [;)]

Cheers,
Kai

Hi Bill,

 You guys have to be proactive on this just like the L7 categorization. Offer the service and let the customer decide. 

We usually do so, if we can be optimistic about the support volume. In this case, we expect that too many customers with too small boxes would activate the feature, which would lead to too many problems on their tiny boxes, which would massively increase our support cost. We try to avoid such situations where a user can overload his box by simply clicking a single button in the webadmin...

So in this case, we have think a little bit ahead of our customers. We try to educate our partners about that and then let those with a good amount of technical knowledge decide whether this makes sense for a customer or not...

Given the price for RAM, i expect this to change over the next 2-3 years anyway. RAM is cheap and it's getting cheaper every year [;)]

Cheers,
Kai

Hi William,

... astaro promised to put this into 8.2...

It is in 8.2, it will stay in there, there are no plans to remove the feature, as it obviously is working very well for many of you. "Promise kept" i'd say...

Cheers,
Kai

Hi William,



It is in 8.2, it will stay in there, there are no plans to remove the feature, as it obviously is working very well for many of you. "Promise kept" i'd say...

Cheers,
Kai

nopers..it was supposed to be in the webadmin as an official feature not a hack which it technically still is.  I can dig up where it was posted it would be a true feature in 8.2 then taken back...promise NOT kept...trying to obfuscate isn't going to endear astaro to anyone.

Hi Kai,
I was responding to your post. I made a point some little while ago that most ASGs with 2gb of ram will be in trouble with 8.2 let alone the localised db. So basically on any ASG with 1gb of ram or less the memory version isn't going to work, probably won't load without going into swap.

But Biilybob's point is about the memory usage creep, so if the product is subtlety released in 8.2 without a button, then the memory leak needs to be fixed or a work around so that it is reloaded at midnight or a low usage time or something similar.

Ian

In answer to Willaim's post below, I am aware of the some of the other problems that the http proxy developed between 8.174 and 8.200

There's other serious problems with the 8.2 http proxy that render it problematic...[:)]

 it was supposed to be in the webadmin as an official feature not a hack which it technically still is.  

Ouch. SvenS will not be amused to hear that, given the amount of work that he has put into it... I can see your point - even though, from a technical perspective, a feature doesn't necessarily need a webadmin button - and i even agree with you: a button somewhere beneath websecurity>>advanced would make sense. But to call it "a hack" is a little hard, don't you think?

 I can dig up where it was posted it would be a true feature in 8.2 then taken back... 

I'd really love to see that post. It's not that i don't believe you, it's just that i then can find out who at Astaro failed to yell loud enough to get that damned button in the webadmin.

Cheers,
Kai

Hi Ian,

But Biilybob's point is about the memory usage creep...

The topic of the thread is "HTTP Proxy Memory Usage", and SvenS requested information about the memory usage when the local content filter DB is disabled. 

Since then, nobody cared enough to provide this information. Now what? I have to admit that we have dice to roll out the performance numbers (yes, the performance guys have a strange sense of humor), but we do not have magic crystal balls in the development department yet. [;)]

Cheers,
Kai