Http Cache proxy issue

First, what hardware are you running Astaro on?

1. Squid one of the most commonly used HTTP caching proxies... it works well even for huge networks, including WikiPedia.

Barry

First, what hardware are you running Astaro on?

1. Squid one of the most commonly used HTTP caching proxies... it works well even for huge networks, including WikiPedia.

Barry

Hi Barry.

Thanks for responding.
I'm using Dell 1900 sever dual Xeon, 4GB Ram (Unfortunately Astaro recognize only 3.2).
CPU: 20-50%
Ram: 35-65%

I'm no that familiar the way this cache works (time, size of files, size on disk...).   maybe the default apply to more modest systems.
Actually Astaro advice was once to turn the cache off.

Hi.

Forgot about it - 7.2

[:$]

Your hardware sounds pretty good, but it's possible the IPS and/or email filtering are using a lot of resources too, depending on how much bandwidth and email they are processing.

FYI, the IPS is quite tunable.

The HTTP content filtering and the HTTP antivirus can slow things down quite a bit, especially if you're doing 'dual' a/v scanning.

Larger disks in ASL generally result in a larger http proxy cache.
Fast disks generally help too.

If you don't care about http a/v and content filtering, turn them off, or turn off at least one of the dual A/Vs. 
If it's still not fast enough, talk to Astaro, and/or look into Squid.

Note that Squid is free, and can perform _extremely_ well on the right hardware (big, fast RAID), but does not, out-of-the-box, do content filtering and A/V, although there are at least lots of content-filtering add-ons for it (free and commercial). I run it with AdZap plugged in at home, and for a small group at work.

Any ad-filtering you can do will going to make a large difference in your bandwidth usage and proxy efficiency btw. My company turned on ad-filtering in WebSense, and it made a huge difference in bandwidth, even though websense doesn't do any caching and they don't have another 'proxy' for 99.5% of users.

You could possibly have a large internal Squid cache, which then points to Astaro, where content filtering and a/v is still performed, but it's hard to say how much of a performanance gain you'd get; it depends traffic levels, and on how much your users use the same sites every day.

As far as Astaro 7, it's not running Squid anymore, but even in earlier Astaro versions when it was Squid, not a whole lot of RAM was dedicated to Squid.
No one seems to know much about the new http proxy in v7, except that it's 'custom written'. My guess is Astaro switched away from Squid because the particular content-filtering application (Cobion, iirc) they were using with Squid was too expensive, and perhaps not as flexible as desired.

Incidentally, you don't have to do content filtering and caching on the same server; e.g. you could use a commercial, non-caching content filter such as Websense or whatever, in front of a cache such as Squid, and you could have an IPS which catches http malware inline as well.
Note I'm not recommending Websense, it's just an example. Websense, and some of the others, do have 'add-ons' for malware prevention, etc., but the add-ons are also expensive.

Barry

if you want the kind of flexibility in caching you are asking for Astaro is not your chioice.  Their proxy is now proprietary and not tunable.  My suggestion is look into ipcop with copfilter and cop+ installed.  this gives you a highly flexible caching system with content filtering and a/v scanning all for the right price..free.

Forgot to mention... the 3.2GB RAM limit you're seeing is a limitation of most 32-bit systems... if you want to use more RAM, especially if you want more than 2 or 3GB just for caching, you need to run your cache on a 64-bit server with a 64-bit OS.

Barry

Is your link getting maxed out?  May be due to Adobe Acrobat updates getting stuck, ensure you add adobe.com to exceptions list.

Forgot to mention... the 3.2GB RAM limit you're seeing is a limitation of most 32-bit systems... if you want to use more RAM, especially if you want more than 2 or 3GB just for caching, you need to run your cache on a 64-bit server with a 64-bit OS.

Barry

or on a Linux distro with a 32 bit kernel that supports PAE..[:)]

or on a Linux distro with a 32 bit kernel that supports PAE..[:)]

I'm not a big fan of PAE... there's a definite performance hit. My guess is non PAE at 3.2GB would perform similarly to 4GB w PAE, for most workloads.

Better off with 64-bit, esp. on x86, as x86-64 is about 15% faster thanks to the extra registers.

But, other than for huge proxy caches, I can't see much reason for Astaro to need more than 2 or 3GB.

I don't know how other firewalls perform with huge caches, but istm that it would be better to have a separate squid server for really large, high-traffic, caches.

Barry

Hi and thanks to all.

First, back to my original question:
1. Concerning my huge traffic, is there any advantage of using external Cache proxy over the Astaro internal cache, and if yes, which would be recommended. Bare in mind that all HTTP on port 80 will have to go be sent out to this machine, and any request will have to be checked there first (another performance issue.)
2. Is it possible to tweak the cache?
3. Maybe it would be better in heavy traffic to turn the cache off all together? 

The current situation is that when ever I turn on the HTTP Proxy Cache, the surfing speed (getting into sits and the amount of time that pages are loaded) takes longer time.
I’m aware of the HTTP content filtering and the HTTP A/V (I’m using single scan).
My disk is big Fast SATA and almost empty: Swap-0, Log-6%, Data-3%.  No raid.
While turn on the Cache, I can see slightly increasing in the RAM memory and almost no increasing in disk usage.
I have to say I’m not very enthusiastic of using separate machines for different tasks.
One of the main reasons of using Astaro was its “All in one” capability. So I don’t have to invest extra money in parallel systems.
I think that my Machine, with 500 users (even with heavy usage) should be tolerated by Astaro without too mach afford.

“Any ad-filtering you can do will going to make a large difference” 
What do you mean by “ad-filtering”?

“May be due to Adobe Acrobat updates”
It’s on the exactions.

“you need to run your cache on a 64-bit server with a 64-bit OS”
My sever can run 64 bit.
I thought its Astaro limitation while installing on non Astaro Appliance systems.
Is it possible to choose or to change it?

Hi and thanks to all.

First, back to my original question:

1. Concerning my huge traffic, is there any advantage of using external Cache proxy over the Astaro internal cache, and if yes, which would be recommended. Bare in mind that all HTTP on port 80 will have to go be sent out to this machine, and any request will have to be checked there first (another performance issue.)

the external cache would be tunable like you wanted it to be.  The astaro version depends heavily on ram..which boost performance but not caching retention.  

2. Is it possible to tweak the cache?

not in the latest version of astaro..no as it's now proprietary.

3. Maybe it would be better in heavy traffic to turn the cache off all together? 

if you can put up with the perceived speed loss then yes.

The current situation is that when ever I turn on the HTTP Proxy Cache, the surfing speed (getting into sits and the amount of time that pages are loaded) takes longer time.
I’m aware of the HTTP content filtering and the HTTP A/V (I’m using single scan).
My disk is big Fast SATA and almost empty: Swap-0, Log-6%, Data-3%.  No raid.
While turn on the Cache, I can see slightly increasing in the RAM memory and almost no increasing in disk usage.
I have to say I’m not very enthusiastic of using separate machines for different tasks.
One of the main reasons of using Astaro was its “All in one” capability. So I don’t have to invest extra money in parallel systems.
I think that my Machine, with 500 users (even with heavy usage) should be tolerated by Astaro without too mach afford.

Astaro is a decent UTM but it has some rough edges.  I have talked about Astaro's tuning errors before.  Astaro is highly biased towards ram usage..so if you stuff thee box with 4 gigs of ram they'll use it all..but use very little disk space.  Astaro must feel that touching the disk for proxy caching is an anethma..[:)]

“Any ad-filtering you can do will going to make a large difference” 
What do you mean by “ad-filtering”?

banner ads, flash ads..all those new flash ads chew up tons of bandwidth.  Astaro right now doesn't have an ad blocker AFAICT however if they added privoxy they'd have one right quick.

“May be due to Adobe Acrobat updates”
It’s on the exactions.

exceptions?

“you need to run your cache on a 64-bit server with a 64-bit OS”
My sever can run 64 bit.
I thought its Astaro limitation while installing on non Astaro Appliance systems.
Is it possible to choose or to change it?

Astaro right now is a 32-bit platform only..it is not changable except by Astaro.

"Banner ads, flash ads..all those new flash ads chew up tons of bandwidth. Astaro right now doesn't have an ad blocker AFAICT however if they added privoxy they'd have one right quick."
Unfortunately, since my users are home users (privet homes) - no can do.

"Exceptions?"
Of course.  My mistake.[:$]

"Astaro right now is a 32-bit platform only..it is not changeable except by Astaro."
Would they do it if I'll ask them to?

Thanks.

"Banner ads, flash ads..all those new flash ads chew up tons of bandwidth. Astaro right now doesn't have an ad blocker AFAICT however if they added privoxy they'd have one right quick."
Unfortunately, since my users are home users (privet homes) - no can do.

"Exceptions?"
Of course.  My mistake.[:$]

"Astaro right now is a 32-bit platform only..it is not changeable except by Astaro."
Would they do it if I'll ask them to?

Thanks.

"Astaro right now is a 32-bit platform only..it is not changeable except by Astaro."
Would they do it if I'll ask them to?

Who knows... only one way to find out... submit a feature request through your reseller or through the customer portal.

It wouldn't be a simple change, so if they did it, it'd probably be in a major revision, e.g. 8.0 or 9.0, not 7.4.

You also should request better caching performance.

Meanwhile, I'd suggest the following:
Get a dual or quad-core CPU, motherboard, 4-8GB RAM, and a big, FAST disk (SATA2 is fine for now).
I'd suggest using spare parts for now, and if it works out for you but you need more power, get a real server later with fast hardware RAID, etc.

Download the 64-bit version of CentOS 5.2, and install it. During the install, make sure to create a large partition just for squid, and mount it as /var/spool/squid.
Set the noatime mount option for that partition in fstab.

Install the Squid RPM.
Edit /etc/squid/squid.conf
set cache_mem to about 20% of your RAM
set cache_dir to 70% of the partition size, and make sure to increase the level1 and level2 directory #'s.

restart squid

route or NAT some http traffic through it, and see how it does.

if you want to do a/v, etc., you should be able to have squid behind astaro, and have astaro do the http a/v, or you can setup a/v on squid.

I'm in southern California if you're interested in hiring a consultant.

Barry

no need for the rpm..just yum install squid..all done..

Hi BarryG and thanks.

I think I'll give it a try.

"I'm in southern California if you're interested in hiring a consultant."
Unfortunately I’m on the other side of the globes...
[:)]