HTTP Proxy "Timeout" and "Broken pipe" -- Consolidation

Hi Everyone,

we've decided it'd be best to open a new thread in order to do some consolidation work on the HTTP Proxy issues which have been popping up at least since 8.940. Note that the below listed threads will therefore be closed finally: [LIST=1]
[/LIST]

So for anything related to those two issues please make sure you post in this thread; we'll also give any further information in this thread only.
However for this attempt we need your help to perform further debugging and to be able to fix the problems after all. What do we like you to do now, then?

  • make use of FireBug (Firefox developer plugin) to see what concrete URL causes your "Timeouts" or "Broken pipes" and/or 
  • see if you can pin down an URL which constantly reproduces the issue (or maybe both at once) via this plugin,
  • make use of WireShark to produce a pcap file of a whole sessions' communication, 
  • make sure you can prove your findings by means of the whole logfile or logfile snippets,
  • give our developer team access to your affected UTM(s) for final debugging,
  • stay focused, commited and on topic even if it can be chewy once in a while.


And of course don't forget to name the exact build version you're running on your system.

I know that this will require quite a lot of work, but without your committing help we're not able to fathom the causes for the issues.
If you require any of the logs to remain confidentially, I'd like you to send them to me via PM; they'll only be used for debugging purposes internally and will therefore be treated absolutely confidential (only the developer team will have access to them).

We'll only deal with constructive replies and we'd therefore like you to distance yourself from any non related issues here and urge you to provide us with any other details and information you consider useful. We may also request further help in due time.

Thanks for your help and understanding.

Cheers,
Cristof
  • After the update, I got the following error, no proxy configured profile.

    2012:06:25-14:04:17 UTM220_Aeris-1 httpproxy[25787]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="currentradioport=8054&currentradiourl=72%2E29%2E81%2E124POST" srcip="187.60.35.202" dstip="" user="" statuscode="403" cached="0" profile=" ()" filteraction=" ()" size="2625" request="0x8fe2ce0" url="www.atlanticosulfm.com.br/nh.php" exceptions="" error="No matching profile found"

    2012:06:25-14:07:21 UTM220_Aeris-1 httpproxy[25787]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="POST" srcip="192.168.0.119" dstip="65.54.61.220" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2751" request="0x8fc12f0" url="sn1msg3030126.gateway.messenger.live.com/.../gateway.dllerror="Timeout while reading response from Server" category="122" reputation="neutral" categoryname="Instant Messaging"

    2012:06:25-14:07:23 UTM220_Aeris-1 httpproxy[25787]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="currentradioport=8054&currentradiourl=72%2E29%2E81%2E124POST" srcip="187.60.35.202" dstip="" user="" statuscode="403" cached="0" profile=" ()" filteraction=" ()" size="2625" request="0x8fe2ce0" url="www.atlanticosulfm.com.br/nh.php" exceptions="" error="No matching profile found"


    its normal?
  • After the update, I got the following error, no proxy configured profile.

    2012:06:25-14:04:17 UTM220_Aeris-1 httpproxy[25787]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="currentradioport=8054&currentradiourl=72%2E29%2E81%2E124POST" srcip="187.60.35.202" dstip="" user="" statuscode="403" cached="0" profile=" ()" filteraction=" ()" size="2625" request="0x8fe2ce0" url="http://www.atlanticosulfm.com.br/nh.php" exceptions="" error="No matching profile found"
    

    2012:06:25-14:07:21 UTM220_Aeris-1 httpproxy[25787]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="POST" srcip="192.168.0.119" dstip="65.54.61.220" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2751" request="0x8fc12f0" url="http://sn1msg3030126.gateway.messenger.live.com/gateway/gateway.dll?Action=poll&Lifespan=60&SessionID=961630645.358726474" exceptions="" error="Timeout while reading response from Server" category="122" reputation="neutral" categoryname="Instant Messaging"

    2012:06:25-14:07:23 UTM220_Aeris-1 httpproxy[25787]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="currentradioport=8054&currentradiourl=72%2E29%2E81%2E124POST" srcip="187.60.35.202" dstip="" user="" statuscode="403" cached="0" profile=" ()" filteraction=" ()" size="2625" request="0x8fe2ce0" url="http://www.atlanticosulfm.com.br/nh.php" exceptions="" error="No matching profile found"


    its normal?


    Regarding the timeout on the Windows messenger URL (i.e. the second log line), please retry. If you can reproduce the timeouts, then it is likely the server that fails to respond in your situation. What exact website doesn't load correctly with that URL?

    The 'No matching profile found' message (first and third quoted log line) is unrelated to this issue, but might me normal. If there is a problem with this message, please start a new UBB thread.

    Regards,
    mlenk
  • I will try it but where do I upload it? Normal up2date will not accept it. Do I need to do this through ssh?
  • Yes, this has to be done through the shell.  If you've already downloaded the package to your PC, you can upload it using WinSCP.  A good spot to put it is /home/login/.  Then through SSH (or console), as root, you can do:

    /var/mdw/scripts/httpproxy stop

    rpm -Uhv /home/login/ep-httpproxy-9.00-29.g37f7346.i686.rpm

    /var/mdw/scripts/httpproxy start
  • Well I tried but I can't get in with filezilla, says authentication failed for loginuser (yes I reset the password in the same screen). Would be nice if we could just install the rpm like the up2date.

    Edit - Funny, I just put it on my webserver and did wget from console. Good to know once you ssh with loginuser you can su to root. Not sure why filezilla won't login though.

    Patch installed, will turn on proxy and report back tomorrow. Thanks for your help Scott.
  • Not sure why filezilla won't login though.


    I can answer that. OpenSSH handles SFTP, the secure file transfer protocol, as a separate subsystem, and this SFTP subsystem is disabled on the UTM. You can only copy files to/from the UTM via SCP. I'm not sure if you can configure FileZilla to use SCP instead of SFTP, but you can use the WinSCP program.

    Cheers,
    Kai
  • Thank you Micha, I believe you have fixed the problem. I have tried different combinations that used to give timeouts immediately and after a couple of hours of use, my astaro is back to being the "astaro that I like". I have turned on the local content filter database and the browsing speed is excellent. I haven't seen any additional timeouts or broken pipes in the little time that I have tested.

    I will report back if there are any problems but from the look of things it all OK[;)]
    Regards
    Bill

    Edit: If you guys are using something like

    grep -c Timeout /var/log/http.log
    or 
     grep -c "Broken pipe" /var/log/http.log
    to count the errors, make sure you don't surf the thread https://community.sophos.com/products/unified-threat-management/astaroorg/f/75/t/64438 as the counters would be off[:D]
  • i'm curious if this fixes the excessive swapping problem when using anything but cloudy http proxy?..[:)]