[7.450][BUG][CONFIRMED] HTPP instability is forcing me back to 7.403

FWIW I am having issues with streaming also. Anything on youtube, forget it with the http proxy.

I am using two 7.5 beta at home and I have not experienced problem like you mentioned.

Large download never a problem for me since virus scanning doesn't kick in for anything large than 5M (so it doesn't give "file not found error" as reported in other thread).

Streaming audio or video working fine too, I am running proxy (not "Full transparent mode"). I am assuming this is what you are using. Below are some of my proxy log and you can see that traffic are going through proxy and I can watch youtube video just fine (my wife would be screaming long ago if it is like what you guys are experiencing", and I listen to internet radio whole morning and haven't missed a single beat.

2009:06:07-12:47:54 dmzalarm httpproxy[3603]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.*.*" user="" statuscode="303" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" time="202 ms" request="0xb1fb2238" url="www.youtube.com/get_video

Having said that, I think we might want to look at the issue from another angle: kernel change in the beta might have introduced drive problem for some of you? I am running astaro software on symantec 1660 hardware appliance and nic are:

00:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05) 

I have been listening to couple of radio streaming since my last post, so far I didn't have problem.

I only have 2 identical astaro machines (symantec 1660), so the problem won't show up on mine if it is hardware/driver related. [:S]

Hi,
The hardware on this box except for the CPU and one NIC is used by a lot of other boxes. The chipset has been around for awhile, it is on some of the older IBM desktops at work.
The same hardware works fine with v7.403. I had to wait for 7.400 to be released before I could build the box, the onboard NIC driver was added in that version.
If I have time in the morning I will put the 7.500b disk back in the ASG and have a look at the kernel logs.

Ian M

Hi Ian,

If it was really hardware/driver related, you would be helping lots of ppl identifying their potential problem with your effort.

Although I can't imagine Astaro make drastic changes to the kernel driver but it is running linux so this might be from other contributors.

btw, my beta machine runs "2.6.16.62-113-default", what does your say? Sorry that I rushed all my home machine to beta so I don't have 7.4.02 to look at now.

Other than hardware related, maybe engineers from Astaro can share some information on other possibilities?

Claude

Hi Claude,
the v7.403 version is 2.6.16.62-111-smp
I will update this post in the morning with v7.450b details.

I think if it is hardware related we would have heard from BarryG and a couple of others by now. Barry is running the Atom n270 single CPU with a different chipset.
There are a couple of other threads about the por behaviour of this version of the http proxy, in transparent mode as well.

Ian M
the v7.450b version is 2.6.16.62-113-smp

Kernel log had nothing in it after the restart except the driver picked up the 8111/8169 as a 8169.

When streaming, I don't see any errors in the proxy log. Also, the streaming works perfect if proxy is disabled ( I am using standard proxy so I just disable it in browser). This leads me to believe it is not a hardware issue since packet filtering would be affected if the NIC hardware was acting funky. 

I realise that this is an initial beta to the next release but the updates to proxy are nowhere as extensive as when they went from squid to in house proxy. We are afterall trying to make the product better. If it works worst than the current production release just because a couple of extra configuration options, then there is something wrong. The goal should be to make everything including speed/latency, features, streaming etc among other things better than every previous release.

I guess all I am saying is that a beta should not be released with the mentality that its just a beta so bugs are expected unless its complete rewrite of the code or something.

i have a http problem too, if i go to a website with google maps or google picturesearch, there missing javascripts and pictures. 
 
in google picture search you can not see any images, if i disable the proxy the pictures will be displayed. 
 
in google maps you have a lot of javascript errors, after disable the proxy google maps works.

Hi Claude,
the v7.403 version is 2.6.16.62-111-smp
I will update this post in the morning with v7.450b details.

I think if it is hardware related we would have heard from BarryG and a couple of others by now. Barry is running the Atom n270 single CPU with a different chipset.
There are a couple of other threads about the por behaviour of this version of the http proxy, in transparent mode as well.

Hi, I haven't upgraded to 7.403 yet, fwiw, and I don't use the proxies either.
Got a huge rollout going on for work last couple weeks and I can't afford to take down my home connection to do any upgrades right now.

That said, my Atom board has been rock solid for Astaro. I do have hyperthreading on, but afaik, the only HT/SMP problems in Astaro have been with the proxy, and afaik that was a long time ago, unless there's a new problem. HT shouldn't have problems any different than SMP though, so I'm not sure what all the HT fuss is about.
I do realize that performance for single-threaded apps can be worse with HT; I've noticed that on my HTPC for example.

Barry

Hi Barry,
I thought you were running the http proxy on your ASG.

HT on my atom caused kacpid to lockup the ASG. Removed HT and I had no further problems with kacpid.

Ian M

BillyBob,
I am in agreement with you, that is the line I have had in a couple other threads where I have reported bugs.

Ian M

I dont know if you are all aware but I work for a large ISP and there are major problems with u-tubes servers at the moment affecting all uk based ISP's

AFAIK there are not details being released by U-Tube

Hi nitehawk,
I have run the audiostreaming again today to get an updated log extract. I am not sure of just how much of the log you want to see?
Working out which entries actually relate to the dropped streaming is very difficult because the log takes a while to update, about a minute after the streaming stops.
There is then a short burst of music and then the connection drops.

Ian M

[FONT=monospace]2009:06:14-09:31:01 fw1-on-house httpproxy[7254]: [ (nil)] auth_transparent_thread_func (auth_transparent.c:53) checking for expired auth entries [/FONT]
[FONT=monospace]2009:06:14-09:31:10 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:661) reloading config [/FONT]
[FONT=monospace]2009:06:14-09:31:13 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:667) done [/FONT]
[FONT=monospace]2009:06:14-09:31:14 fw1-on-house httpproxy[7254]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.10.252" user="" statuscode="200" cached="0" profile="REF_GrlnmHmMll (24hr)" filteraction="REF_ufaPwcyijx (24hr)" size="905815" time="115462 ms" request="0x80878b0" url="streams.radio.3fl.net.au:443/.../FONT]

Hi nitehawk,
I have run the audiostreaming again today to get an updated log extract. I am not sure of just how much of the log you want to see?
Working out which entries actually relate to the dropped streaming is very difficult because the log takes a while to update, about a minute after the streaming stops.
There is then a short burst of music and then the connection drops.

Ian M

[FONT=monospace]2009:06:14-09:31:01 fw1-on-house httpproxy[7254]: [ (nil)] auth_transparent_thread_func (auth_transparent.c:53) checking for expired auth entries [/FONT]
[FONT=monospace]2009:06:14-09:31:10 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:661) reloading config [/FONT]
[FONT=monospace]2009:06:14-09:31:13 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:667) done [/FONT]
[FONT=monospace]2009:06:14-09:31:14 fw1-on-house httpproxy[7254]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.10.252" user="" statuscode="200" cached="0" profile="REF_GrlnmHmMll (24hr)" filteraction="REF_ufaPwcyijx (24hr)" size="905815" time="115462 ms" request="0x80878b0" url="streams.radio.3fl.net.au:443/.../FONT]

Hi nitehawk,
another version of the streaming failure. The failures seem to happen when epoll_loop runs. Gert answered in one of the other threads that epoll_loop runs all the time and is a config reload. Sometimes after a config reload, the classification of the audiostream changes and it gets blocked. Then a short while later it is allowed in for a second, then blocked. Once the session has been blocked and itunes recognises there isn't an active session anymore you can restart the stream within itunes.
I have looked in the classfier log and there wasn't anything obvious to me.

If you desire to poke around in my ASG you are more than welcome?

Ian 


[FONT=monospace]2009:06:14-10:23:08 fw1-on-house httpproxy[7254]: [ (nil)] sc_check_servers (scr_scanner.c:722) server 'cffs09.astaro.com' access time: 1978ms [/FONT]
[FONT=monospace]2009:06:14-10:23:31 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:661) reloading config [/FONT]
[FONT=monospace]2009:06:14-10:23:33 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:667) done [/FONT]
[FONT=monospace]2009:06:14-10:23:33 fw1-on-house httpproxy[7254]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.10.252" user="" statuscode="502" cached="0" profile="REF_GrlnmHmMll (24hr)" filteraction="REF_ufaPwcyijx (24hr)" size="9639898" time="661586 ms" request="0x81dc7f0" url="streams.radio.3fl.net.au:443/.../FONT]
[FONT=monospace]2009:06:14-10:24:02 fw1-on-house httpproxy[7254]: [ (nil)] auth_transparent_thread_func (auth_transparent.c:53) checking for expired auth entries [/FONT]
[FONT=monospace]2009:06:14-10:24:32 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:661) reloading config [/FONT]
[FONT=monospace]2009:06:14-10:24:34 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:667) done [/FONT]

Hi,
the lastest version doesn't even allow the streaming to run for more than a couple of seconds. Blocks more sites that worked before in v7.450, IPS throws up errors.

Tomorrow I will build this version on an older amd x2 5200+ as well as this box and see what happens.

Shortly back to v7.403 when my wife finishes with voip.

Everything else seems to work well except http.

I was wrong voip doen't work either even though the ata has registered.

Ian

Here I have also problems with HTTP connections interrupted very often in 7.460. For example mp3 radio is broken, Youtube videos stop, etc. Even the ASG HTTP download handler has the problem:



I think the issue https://community.sophos.com/products/unified-threat-management/astaroorg/f/98/t/67840 is separate from these problems.

Regards,
Bastian

Hi Bastian,
I built a new machine today, my linux workstation is no more for the moment.

I don't have the problem with the continual interruption to streaming, it now happens when there is a major update to e-poll as far as a I can tell. It is very hard to catch. I can listen to audio streaming for over 40 minutes without a break.

But what I am looking for is someway of getting the http proxy fixed urgently. I have so many bypasses in it isn't funny. Anything that involves https just doesn't work. From what I can see, the proxy fails to return packets after the site is checked by the web verification package. I see the check in the web log and then if I let the webpage sit I get a proxy refused connection error.

I have disabled https scanning.

The new machine has more powerful processors, 1 intel 1000 pro and the onboard chip.

Things I suggest you look at 
1/. a slightly dodgy memory chip
2/. a faulty card slot.

I had found both this morning while building this box. I was about to write some terse posts but did a lot more investigation after the box crashed and wouldn't restart.
Why did fail it under 7.500b I don't know, though I haven't used this box on 7.403. But the memory was being used in another linux workstation that was running 7.460b this morning.

A long winded explanation.

Ian M

Hi Bastian,
I don't have the problem with the continual interruption to streaming, it now happens when there is a major update to e-poll as far as a I can tell. It is very hard to catch. I can listen to audio streaming for over 40 minutes without a break.

This is exactly my foundings!! Just a few minutes ago, mp3 radio stopped after 50 minutes, klicking again on the "play" button, and it went on...

I didn't ever have your extreme problems with disconnections every few seconds or so. And I don't think I have faulty hardware, this is a system running professional hardware, ECC RAM, same with the raid controller... I learnt from the past that I can't use standard hardware as a reliable server even at home [8-)]

Regards,
Bastian

Hi Bastion,
I think my original problem is a CPU microcode version. There are a number of updates to the processor and from what I can remember one of them was for a problem similar to what I was suffering. I am waiting on Intel to advise how to handle the problem. There is another user who had his mb replaced by Intel to fix the same bug.

My ASG boxes are built with the aim of reduced power and noise. I could always put ECC ram in I suppose, but a real raid controller for home use on a firewall would be an overkill in my opinion. My stuff runs reliably and only gets rebooted for software upgrades or prolonged power outages. I do have it behind UPS.


Ian M

Yes, raid for a firewall would be overkill [:)] I'm running some more things on my box... Of course behind a UPS, too.

@Microcode: Intel should be able to resolve this with a BIOS update, don't they?!

Testing the website 3fl online now... I couldn't open the mp3 stream directly by clicking on the m3u link. Dragged it on old trusted vlc player and its jamming now. Will report back if I observe any disruptions. Interesting use of urls though... The initial connection attempt is on port 8000 but if that fails, it transfers to 443. The links are not https but yet they point to port 443

http://streams.radio.3fl.net.au:443/etn-trance

P.S the dance channels are darn good.

edit: I know previously it worked with no additional ports open but as a work around have you considered allowing port 8000 outbound. The proxy will still check for everything but streaming will go via port 8000 instead of 443 which is fine since you are not scanning the stream contents anyways. That will solve atleast 3fl.net streaming.

Hi BillyBob,
originally the only way to get them working was via the open ports, 8000-8020 range. Last time I investigated I noted that 800x wasn't used only 443.
I only listen because they on my ISPs free list otherwise I would blow a down load limit very quickly.
Reading the "fix" for the https problem in the other thread I wonder whether that will fix the dropped audio streaming problem. I can  now surf my https sites without a lot of work arounds. This one is interesting because in previous versions it didn't work and I hadn't noted a fix in any of the lists.

Ian 

Bastion,
I tried to do what you are doing, but gave up when I couldn't get the ADSL connection across the VM links. I know the solution would have been to put put the adsl modem into firewall mode, but then I end up with double nat.

Ian