[7.450][BUG][CONFIRMED] HTPP instability is forcing me back to 7.403

FWIW I am having issues with streaming also. Anything on youtube, forget it with the http proxy.

I am using two 7.5 beta at home and I have not experienced problem like you mentioned.

Large download never a problem for me since virus scanning doesn't kick in for anything large than 5M (so it doesn't give "file not found error" as reported in other thread).

Streaming audio or video working fine too, I am running proxy (not "Full transparent mode"). I am assuming this is what you are using. Below are some of my proxy log and you can see that traffic are going through proxy and I can watch youtube video just fine (my wife would be screaming long ago if it is like what you guys are experiencing", and I listen to internet radio whole morning and haven't missed a single beat.

2009:06:07-12:47:54 dmzalarm httpproxy[3603]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.*.*" user="" statuscode="303" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" time="202 ms" request="0xb1fb2238" url="www.youtube.com/get_video

Having said that, I think we might want to look at the issue from another angle: kernel change in the beta might have introduced drive problem for some of you? I am running astaro software on symantec 1660 hardware appliance and nic are:

00:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05) 

Hi Barry,
I thought you were running the http proxy on your ASG.

HT on my atom caused kacpid to lockup the ASG. Removed HT and I had no further problems with kacpid.

Ian M

BillyBob,
I am in agreement with you, that is the line I have had in a couple other threads where I have reported bugs.

Ian M

I dont know if you are all aware but I work for a large ISP and there are major problems with u-tubes servers at the moment affecting all uk based ISP's

AFAIK there are not details being released by U-Tube

Hi nitehawk,
I have run the audiostreaming again today to get an updated log extract. I am not sure of just how much of the log you want to see?
Working out which entries actually relate to the dropped streaming is very difficult because the log takes a while to update, about a minute after the streaming stops.
There is then a short burst of music and then the connection drops.

Ian M

[FONT=monospace]2009:06:14-09:31:01 fw1-on-house httpproxy[7254]: [ (nil)] auth_transparent_thread_func (auth_transparent.c:53) checking for expired auth entries [/FONT]
[FONT=monospace]2009:06:14-09:31:10 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:661) reloading config [/FONT]
[FONT=monospace]2009:06:14-09:31:13 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:667) done [/FONT]
[FONT=monospace]2009:06:14-09:31:14 fw1-on-house httpproxy[7254]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.10.252" user="" statuscode="200" cached="0" profile="REF_GrlnmHmMll (24hr)" filteraction="REF_ufaPwcyijx (24hr)" size="905815" time="115462 ms" request="0x80878b0" url="streams.radio.3fl.net.au:443/.../FONT]

Hi nitehawk,
another version of the streaming failure. The failures seem to happen when epoll_loop runs. Gert answered in one of the other threads that epoll_loop runs all the time and is a config reload. Sometimes after a config reload, the classification of the audiostream changes and it gets blocked. Then a short while later it is allowed in for a second, then blocked. Once the session has been blocked and itunes recognises there isn't an active session anymore you can restart the stream within itunes.
I have looked in the classfier log and there wasn't anything obvious to me.

If you desire to poke around in my ASG you are more than welcome?

Ian 


[FONT=monospace]2009:06:14-10:23:08 fw1-on-house httpproxy[7254]: [ (nil)] sc_check_servers (scr_scanner.c:722) server 'cffs09.astaro.com' access time: 1978ms [/FONT]
[FONT=monospace]2009:06:14-10:23:31 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:661) reloading config [/FONT]
[FONT=monospace]2009:06:14-10:23:33 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:667) done [/FONT]
[FONT=monospace]2009:06:14-10:23:33 fw1-on-house httpproxy[7254]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.10.252" user="" statuscode="502" cached="0" profile="REF_GrlnmHmMll (24hr)" filteraction="REF_ufaPwcyijx (24hr)" size="9639898" time="661586 ms" request="0x81dc7f0" url="streams.radio.3fl.net.au:443/.../FONT]
[FONT=monospace]2009:06:14-10:24:02 fw1-on-house httpproxy[7254]: [ (nil)] auth_transparent_thread_func (auth_transparent.c:53) checking for expired auth entries [/FONT]
[FONT=monospace]2009:06:14-10:24:32 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:661) reloading config [/FONT]
[FONT=monospace]2009:06:14-10:24:34 fw1-on-house httpproxy[7254]: [     (nil)] epoll_loop (epoll.c:667) done [/FONT]

Hi,
the lastest version doesn't even allow the streaming to run for more than a couple of seconds. Blocks more sites that worked before in v7.450, IPS throws up errors.

Tomorrow I will build this version on an older amd x2 5200+ as well as this box and see what happens.

Shortly back to v7.403 when my wife finishes with voip.

Everything else seems to work well except http.

I was wrong voip doen't work either even though the ata has registered.

Ian

Here I have also problems with HTTP connections interrupted very often in 7.460. For example mp3 radio is broken, Youtube videos stop, etc. Even the ASG HTTP download handler has the problem:



I think the issue https://community.sophos.com/products/unified-threat-management/astaroorg/f/98/t/67840 is separate from these problems.

Regards,
Bastian

Hi Bastian,
I built a new machine today, my linux workstation is no more for the moment.

I don't have the problem with the continual interruption to streaming, it now happens when there is a major update to e-poll as far as a I can tell. It is very hard to catch. I can listen to audio streaming for over 40 minutes without a break.

But what I am looking for is someway of getting the http proxy fixed urgently. I have so many bypasses in it isn't funny. Anything that involves https just doesn't work. From what I can see, the proxy fails to return packets after the site is checked by the web verification package. I see the check in the web log and then if I let the webpage sit I get a proxy refused connection error.

I have disabled https scanning.

The new machine has more powerful processors, 1 intel 1000 pro and the onboard chip.

Things I suggest you look at 
1/. a slightly dodgy memory chip
2/. a faulty card slot.

I had found both this morning while building this box. I was about to write some terse posts but did a lot more investigation after the box crashed and wouldn't restart.
Why did fail it under 7.500b I don't know, though I haven't used this box on 7.403. But the memory was being used in another linux workstation that was running 7.460b this morning.

A long winded explanation.

Ian M

Hi Bastian,
I don't have the problem with the continual interruption to streaming, it now happens when there is a major update to e-poll as far as a I can tell. It is very hard to catch. I can listen to audio streaming for over 40 minutes without a break.

This is exactly my foundings!! Just a few minutes ago, mp3 radio stopped after 50 minutes, klicking again on the "play" button, and it went on...

I didn't ever have your extreme problems with disconnections every few seconds or so. And I don't think I have faulty hardware, this is a system running professional hardware, ECC RAM, same with the raid controller... I learnt from the past that I can't use standard hardware as a reliable server even at home [8-)]

Regards,
Bastian

Hi Bastion,
I think my original problem is a CPU microcode version. There are a number of updates to the processor and from what I can remember one of them was for a problem similar to what I was suffering. I am waiting on Intel to advise how to handle the problem. There is another user who had his mb replaced by Intel to fix the same bug.

My ASG boxes are built with the aim of reduced power and noise. I could always put ECC ram in I suppose, but a real raid controller for home use on a firewall would be an overkill in my opinion. My stuff runs reliably and only gets rebooted for software upgrades or prolonged power outages. I do have it behind UPS.


Ian M

Yes, raid for a firewall would be overkill [:)] I'm running some more things on my box... Of course behind a UPS, too.

@Microcode: Intel should be able to resolve this with a BIOS update, don't they?!

Yes, raid for a firewall would be overkill [:)] I'm running some more things on my box... Of course behind a UPS, too.

@Microcode: Intel should be able to resolve this with a BIOS update, don't they?!

Testing the website 3fl online now... I couldn't open the mp3 stream directly by clicking on the m3u link. Dragged it on old trusted vlc player and its jamming now. Will report back if I observe any disruptions. Interesting use of urls though... The initial connection attempt is on port 8000 but if that fails, it transfers to 443. The links are not https but yet they point to port 443

http://streams.radio.3fl.net.au:443/etn-trance

P.S the dance channels are darn good.

edit: I know previously it worked with no additional ports open but as a work around have you considered allowing port 8000 outbound. The proxy will still check for everything but streaming will go via port 8000 instead of 443 which is fine since you are not scanning the stream contents anyways. That will solve atleast 3fl.net streaming.

Hi BillyBob,
originally the only way to get them working was via the open ports, 8000-8020 range. Last time I investigated I noted that 800x wasn't used only 443.
I only listen because they on my ISPs free list otherwise I would blow a down load limit very quickly.
Reading the "fix" for the https problem in the other thread I wonder whether that will fix the dropped audio streaming problem. I can  now surf my https sites without a lot of work arounds. This one is interesting because in previous versions it didn't work and I hadn't noted a fix in any of the lists.

Ian 

Bastion,
I tried to do what you are doing, but gave up when I couldn't get the ADSL connection across the VM links. I know the solution would have been to put put the adsl modem into firewall mode, but then I end up with double nat.

Ian