HD for Cache proxy

The 'iostat' command might help you determine if the disk is overloaded.

A 10k or 15k RPM drive, or multiple drives in raid 0 or 10 would probably be best if it is a disk bottleneck.

Reducing the logging for the http proxy might help as well.

1 or 2 people here have hacked Astaro to mount a separate disk for logging, the same could be done for cache, but it would void your support.

Barry

Hi Barry and thanks alot.

I'm getting "bash: iostat: command not found"

Any idea why?

Hi.

I have nothing to compare to.

Bare in mind that it's about 550 users and i have around 10,000 concurrent conections.

average RAM -  16% and CPU - 35%

Lan Bandwidth - up to 16 MBs

The performance seems OK (download and Streaming are very fast).
The only issue I can see is a slow surfing speed, specially the first access to new web site.

Goldy, do you have QoS set?  If not, I would suggest creating a bandwidth guarantee on the External interface for 'Internal (Network) -> HTTP -> Any' traffic.  I'd guess that guaranteeing 500kb would be adequate.

Cheers - Bob

Hi Goldy.  The load average of your unit is unacceptably high.  These counters should be less than 1.  In my experience if the first counter is consistently over 1 then you will have poor performance.

Surely that depends on how many physical/logical CPUs there are in the box?

Goldy, can you you show us the full output of "cat /proc/cpuinfo"?

Regards,
Stuart

Hi bob

I'm having one 8/8 Mbps Leased line + four 8/0.8 Mbps ADSL lins.
All working excellent through Uplink balancing + Multipath.
All Http's balanced nicely between the 5 lines and there is no heavy load on any of them.
I'm using QOS on the main (leased) line.


Hi Stuart.
As you can see - it's quite a monster... [:)]

Surely that depends on how many physical/logical CPUs there are in the box?

Goldy, can you you show us the full output of "cat /proc/cpuinfo"?

Regards,
Stuart

processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU            5120  @ 1.86GHz
stepping        : 6
cpu MHz         : 1862.872
cache size      : 4096 KB
physical id     : 0
siblings        : 2
core id         : 0
cpu cores       : 2
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 10
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc pni monitor ds_cpl vmx est tm2 cx16 xtpr lahf_lm
bogomips        : 3732.81

processor       : 1
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU            5120  @ 1.86GHz
stepping        : 6
cpu MHz         : 1862.872
cache size      : 4096 KB
physical id     : 0
siblings        : 2
core id         : 1
cpu cores       : 2
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 10
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc pni monitor ds_cpl vmx est tm2 cx16 xtpr lahf_lm
bogomips        : 3725.42

processor       : 2
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU            5120  @ 1.86GHz
stepping        : 6
cpu MHz         : 1862.872
cache size      : 4096 KB
physical id     : 3
siblings        : 2
core id         : 0
cpu cores       : 2
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 10
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc pni monitor ds_cpl vmx est tm2 cx16 xtpr lahf_lm
bogomips        : 3725.55

processor       : 3
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU            5120  @ 1.86GHz
stepping        : 6
cpu MHz         : 1862.872
cache size      : 4096 KB
physical id     : 3
siblings        : 2
core id         : 1
cpu cores       : 2
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 10
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc pni monitor ds_cpl vmx est tm2 cx16 xtpr lahf_lm
bogomips        : 3725.54

The only issue I can see is a slow surfing speed, specially the first access to new web site.

Then, today, you said:

All Http's balanced nicely between the 5 lines and there is no heavy load on any of them.

How can one explain the difference?

Well, it's very simple.

According To Astaro, there is no heavy loads (CPU, Ram, HD) or heavy Usage on each one of the lines,  
BUT from the users side it seems that after a day or so, of using HTTP Cache in Astaro,   Surfing thru web pages become slow.
Clear Http page seems to bring back the speed to normal.

That why this thread is about Http cache.[:)]
It seems to me it something to do with the Cache,

Have you checked to be sure that your hard disk controller has lots of buffer and battery-backed-write-back-cache as Barry suggested?

Hi.

Dell SAS 5/IR controller.
8-port 3Gb/s Serial Attached SCSI (SAS) controller.

The SAS controler seems OK to me.
Also like I said, there is no problem in any Other situation like downloading files, streaming and other protocols, which working pretty fast[:S].

As you can see - it's quite a monster... [:)]

Well, I disagree with BangkokBob - with 4 logical CPUs, the load average is totally acceptable.

We had a problem with similar symptoms here... manifested by the ASL downloading files over and over and saturating our bandwidth.  We fixed it by a combination of deleting the download_* files in /var/storage/chroot-http/tmp, clearing the cache and rebooting, multiple times - eventually the downloads went away.

I used iftop to establish the Astaro was pulling a lot of traffic from Akamai, which was an eye-opener, because the Mb/s figures on the home page of webadmin were massively wrong.  The Astaro was showing very little traffic on webadmin, yet our Cisco ASA firewall on the outside of the Astaro was showing 45mbps of traffic - the moment the proxy was disabled the traffic went away, when it was enabled, it came back within seconds.

I pored through the http logs but came to the conclusion that whatever it was, was not being logged or was not restarting at the request of a proxy client.

Regards,
Stuart

We're HP bigots, so know very little about Dell, but I expect the approach Dell uses would be simikar to HP and IBM.  In my experience, a RAID adapter with battery-backed-write-back-cache costs $100 to $300 more than one without.  The word "battery" doesn't appear in the documentation for your adapter, so I suspect that it's not what Barry suggested.

CHeers - Bob

We're HP bigots, so know very little about Dell, but I expect the approach Dell uses would be simikar to HP and IBM.  In my experience, a RAID adapter with battery-backed-write-back-cache costs $100 to $300 more than one without.  The word "battery" doesn't appear in the documentation for your adapter, so I suspect that it's not what Barry suggested.

CHeers - Bob