Http Cache proxy issue

First, what hardware are you running Astaro on?

1. Squid one of the most commonly used HTTP caching proxies... it works well even for huge networks, including WikiPedia.

Barry

First, what hardware are you running Astaro on?

1. Squid one of the most commonly used HTTP caching proxies... it works well even for huge networks, including WikiPedia.

Barry

Hi Barry.

Thanks for responding.
I'm using Dell 1900 sever dual Xeon, 4GB Ram (Unfortunately Astaro recognize only 3.2).
CPU: 20-50%
Ram: 35-65%

I'm no that familiar the way this cache works (time, size of files, size on disk...).   maybe the default apply to more modest systems.
Actually Astaro advice was once to turn the cache off.

which version of astaro.

Hi.

Forgot about it - 7.2

[:$]

Your hardware sounds pretty good, but it's possible the IPS and/or email filtering are using a lot of resources too, depending on how much bandwidth and email they are processing.

FYI, the IPS is quite tunable.

The HTTP content filtering and the HTTP antivirus can slow things down quite a bit, especially if you're doing 'dual' a/v scanning.

Larger disks in ASL generally result in a larger http proxy cache.
Fast disks generally help too.

If you don't care about http a/v and content filtering, turn them off, or turn off at least one of the dual A/Vs. 
If it's still not fast enough, talk to Astaro, and/or look into Squid.

Note that Squid is free, and can perform _extremely_ well on the right hardware (big, fast RAID), but does not, out-of-the-box, do content filtering and A/V, although there are at least lots of content-filtering add-ons for it (free and commercial). I run it with AdZap plugged in at home, and for a small group at work.

Any ad-filtering you can do will going to make a large difference in your bandwidth usage and proxy efficiency btw. My company turned on ad-filtering in WebSense, and it made a huge difference in bandwidth, even though websense doesn't do any caching and they don't have another 'proxy' for 99.5% of users.

You could possibly have a large internal Squid cache, which then points to Astaro, where content filtering and a/v is still performed, but it's hard to say how much of a performanance gain you'd get; it depends traffic levels, and on how much your users use the same sites every day.

As far as Astaro 7, it's not running Squid anymore, but even in earlier Astaro versions when it was Squid, not a whole lot of RAM was dedicated to Squid.
No one seems to know much about the new http proxy in v7, except that it's 'custom written'. My guess is Astaro switched away from Squid because the particular content-filtering application (Cobion, iirc) they were using with Squid was too expensive, and perhaps not as flexible as desired.

Incidentally, you don't have to do content filtering and caching on the same server; e.g. you could use a commercial, non-caching content filter such as Websense or whatever, in front of a cache such as Squid, and you could have an IPS which catches http malware inline as well.
Note I'm not recommending Websense, it's just an example. Websense, and some of the others, do have 'add-ons' for malware prevention, etc., but the add-ons are also expensive.

Barry

if you want the kind of flexibility in caching you are asking for Astaro is not your chioice.  Their proxy is now proprietary and not tunable.  My suggestion is look into ipcop with copfilter and cop+ installed.  this gives you a highly flexible caching system with content filtering and a/v scanning all for the right price..free.

Forgot to mention... the 3.2GB RAM limit you're seeing is a limitation of most 32-bit systems... if you want to use more RAM, especially if you want more than 2 or 3GB just for caching, you need to run your cache on a 64-bit server with a 64-bit OS.

Barry

Is your link getting maxed out?  May be due to Adobe Acrobat updates getting stuck, ensure you add adobe.com to exceptions list.

Forgot to mention... the 3.2GB RAM limit you're seeing is a limitation of most 32-bit systems... if you want to use more RAM, especially if you want more than 2 or 3GB just for caching, you need to run your cache on a 64-bit server with a 64-bit OS.

Barry

or on a Linux distro with a 32 bit kernel that supports PAE..[:)]

or on a Linux distro with a 32 bit kernel that supports PAE..[:)]

I'm not a big fan of PAE... there's a definite performance hit. My guess is non PAE at 3.2GB would perform similarly to 4GB w PAE, for most workloads.

Better off with 64-bit, esp. on x86, as x86-64 is about 15% faster thanks to the extra registers.

But, other than for huge proxy caches, I can't see much reason for Astaro to need more than 2 or 3GB.

I don't know how other firewalls perform with huge caches, but istm that it would be better to have a separate squid server for really large, high-traffic, caches.

Barry