hyperdyper freezes system when downloading

this problem is only when i download the file via wget and the option "limit-rate" ist set with ASL 4 there are no probs.

I just tried with transparent HTTP Proxy and wget downloading a 10 Megabyte file with --limit-rate=200k using virus protection. The problem did not occure. Could you please post the configuration of your http proxy and a link to the file you are downloading?

Xeno

I have the same issues with the hyperdyper process. Everynow and then the process will go to 100% CPU usage and stay there. During this time all access through the firewall is slowed quite a log. Running latest version of Astaro (6.102) on a 2.2Ghz Dual Opteron box, 2GB of ram (Sun v20z). It's getting ridiculous. Content filter is disabled. 

The firewall serves 90+ VPN tunnels, large amount of packetfilter rules, NAT rules, proxy, SMTP proxy. Works with no problems except when this hyperdyper problem appears. I have noticed that when the process goes to 100% CPU usage the http_access.log (if logging is enabled) is filled with hundreds of messages per second. Messages such as: 

2006:01:03-16:17:04 (none) squid_access[8236]: 1136301424.441  10086 172.16.3.1 TCP_MISS/502 2478 GET http://172.16.3.1:8080/squid-internal-periodic/store_digest - DIRECT/172.16.3.1 text/html

I am not really sure what this process does but I am pretty damn sure this is not normal. Any idea ?

Thanks,
Stefan

Hi,
since 2 Days we have this hyperdyper problem. everytime i enable the http-proxy there is a time about 40 - 60 Minutes
 - - no one trys to download a single file in this time - - 
where everything works fine but then the systemload grows up to 100 % from hyperdyper-deamon. 
The system its running on is a P4 with 3GHz and 1 GB of memory, the version of ASL is 6.102.
What is to do  ?????????

thanks for any answer

firebear

I may have found a solution to this stupid issue. Apparently, even though the content scanning is disabled in the HTTP proxy, the scanning still takes place (i.e. hyperdyper CPU usasage jumps through the roof). Why it uses 100% CPU when scanning is beyond me. 

Anyway, I have re-activated content scanning, I have deleted ALL profiles, even the default ones and then hyperdyper suddenly stopped being a problem. I have not done anything else to the firewall so this must've solved it. Hopefully this is a bug and will be solved in a future patch. 

Regards,
Stefan

Hi,
thats a workaround for the "hyperdyper puts cpu on 100% problem" but if you do so, there is no content filtering and no Virus-scanning. Thats not a solution for me.
If noone makes a download there's no hyperdyper-problem, so is there a possibility to stop the downloading of files via the http-proxy ??

thanks
firebear

This is caused by another squid in the network and is not a hyperdyper-problem.

The other squid makes the Astaro loop, producing these mentioned logs:

2006:01:03-16:17:04 (none) squid_access[8236]: 1136301424.441 10086 172.16.3.1 TCP_MISS/502 2478 GET http://172.16.3.1:8080/squid-internal-periodic/store_digest - DIRECT/172.16.3.1 text/html

A workaround that you can do (instead of disabling the other squid) is to do the following:

inside /var/chroot-squid/etc/squid.conf-default add the following two lines:

acl local_destination2 dst 172.16.3.1/255.255.255.255

http_acess deny local_destination2


The 172.16.3.1 is the IP of the firewall itself.

I am sorry, not really folowing. What do you mean by another squid in the network ? Are you saying that a box on the inside network is running squid and that squid is causing the firewall to act like this ? How ? If so, how come I dont see requests from that squid ? Or maybe I am not looking in the right place ?

Regards,
Stefan

This is what my guess is. I do not know how they talk to each other in detail, but I wanted to share my solution hereby, since it worked for me. When I find out more, I will let you know. I also reported this to Astaro.

Hi all,
after using it a few days it seems that the hyperdyper-problem is solved with 6.103. 
No Problems since install of the up2date.

firebear

Hi,

I have this problem too. But 6.102 or 6.103 doesn't change anything. The load is above 2. The http-proxy-cache and the logging is disabled.

Any ideas?

Thanks.

Just to avoid everything is lumped together, can you be more precise? What do you see in the logs (e.g. http_access.log, contentfilter.log, squid.log), that refers to it?

Just to avoid everything is lumped together, can you be more precise? What do you see in the logs (e.g. http_access.log, contentfilter.log, squid.log), that refers to it?

It seems, the problem is solved. I have activated the DNS-Proxy, now the load is about 0,2.

Astaro support said this is a known bug and will be solved in 6.104.