Guest User!

You are not Sophos Staff.

HTTP Proxy "Timeout" and "Broken pipe" -- Consolidation

Hi Everyone,

we've decided it'd be best to open a new thread in order to do some consolidation work on the HTTP Proxy issues which have been popping up at least since 8.940. Note that the below listed threads will therefore be closed finally: [LIST=1]
[/LIST]

So for anything related to those two issues please make sure you post in this thread; we'll also give any further information in this thread only.
However for this attempt we need your help to perform further debugging and to be able to fix the problems after all. What do we like you to do now, then?

  • make use of FireBug (Firefox developer plugin) to see what concrete URL causes your "Timeouts" or "Broken pipes" and/or 
  • see if you can pin down an URL which constantly reproduces the issue (or maybe both at once) via this plugin,
  • make use of WireShark to produce a pcap file of a whole sessions' communication, 
  • make sure you can prove your findings by means of the whole logfile or logfile snippets,
  • give our developer team access to your affected UTM(s) for final debugging,
  • stay focused, commited and on topic even if it can be chewy once in a while.


And of course don't forget to name the exact build version you're running on your system.

I know that this will require quite a lot of work, but without your committing help we're not able to fathom the causes for the issues.
If you require any of the logs to remain confidentially, I'd like you to send them to me via PM; they'll only be used for debugging purposes internally and will therefore be treated absolutely confidential (only the developer team will have access to them).

We'll only deal with constructive replies and we'd therefore like you to distance yourself from any non related issues here and urge you to provide us with any other details and information you consider useful. We may also request further help in due time.

Thanks for your help and understanding.

Cheers,
Cristof
  • The Timeout errors show up in the browser with an error message whereas broken pipe errors are only evident in the logs.  When the proxy times out while clicking on a new link, the errors are much more intrusive as shown in screenshot1.

    Minor errors like the one below are not noticeable most of the time.Here is error log in http proxy logs....
    2012:06:13-21:02:26 gatekeeper httpproxy[21912]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.0.131" dstip="4.27.3.254" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2618" request="0x9898d68" url="http://i2.cdn.turner.com/money/.element/img/2.0/buttons/button_go.gif" exceptions="av" error="Timeout while reading response from Server" country="United States" category="177" reputation="neutral" categoryname="Content Server"
    From Firebug:
    http://i2.cdn.turner.com/money/.element/img/2.0/buttons/button_go.gif

    ---------Response Headers--------
    Accept-Ranges: none
    Cache-Control: no-cache
    Content-Length: 2618
    Content-Type: text/html; charset="UTF-8"
    Date: Thu, 14 Jun 2012 02:02:26 GMT
    Pragma: no-cache
    Proxy-Connection: Keep-Alive

    ---------Request Headers--------
    Accept: image/png,image/*;q=0.8,*/*;q=0.5
    Accept-Encoding: gzip, deflate
    Accept-Language: en-us,en;q=0.5
    Host: i2.cdn.turner.com
    Proxy-Connection: keep-alive
    Referer: JPMorgan CEO Jamie Dimon: I can't publicly defend the trade - Jun. 13, 2012
    User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:13.0) Gecko/20100101 Firefox/13.0

    Screenshot 2 and 3 show the error in firebug.

    Regards
    Bill

    Tested with firefox 13.0 winxp (virtualbox). IPv6 disabled on UTM 8.965
  • 2012:06:14-23:03:10 firewall httpproxy[19883]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="83.246.70.201" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2687" request="0x8a7db58" url="www.hardwareluxx.de/.../Hardware"


    i got this on the already named Forum ( Forum de Luxx )
  • IPv6

    timeouts 527

    Broken pipes 10

    No debugging in place.

    A number of the timeouts are to the forum.

    Ian
  • traxxus,

    I just enabled some debug options on your HTTP proxy. Please use your proxy again and report back as soon as you observed a timeout again. The debug output will help me then to investigate the reason of that particular timeout.

    Regards,
    mlenk
  • Hi mlenk

    Ok thanks. I will report back asap.
  • Hi there

    Got more timeouts:

    2012:06:18-17:11:53 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="83.246.70.201" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2847" request="0x83a3860" url="www.hardwareluxx.de/.../Hardware"


    This URL for example takes forever, but loads finaly:
    Skrillhouse - Fun Pics bei iSNiCHWAHR.de

    Again:
    2012:06:18-18:46:48 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="85.115.22.9" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2849" request="0x83d46e8" url="www.astaro.org/.../Business Forums"


    Monster-Timeout on xda-developers.com:

    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2739" request="0xbcd8b7a0" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2729" request="0x83efe10" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2711" request="0x837f390" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2799" request="0xbcd657b0" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2741" request="0x83f9118" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2815" request="0xbcd54960" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2727" request="0x8347528" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2791" request="0x8324010" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2809" request="0x8324188" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2711" request="0x8347818" url="media.xda-developers.com/.../Business Forums" 
    2012:06:18-18:49:19 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="199.48.255.172" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2713" request="0x83073a8" url="media.xda-developers.com/.../Business Forums"


    Timeout on whole forum at www.pocketpc.ch/forum
    2012:06:18-18:54:14 firewall httpproxy[9983]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="GET" srcip="192.168.100.50" dstip="92.42.186.74" user="" statuscode="504" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2661" request="0xf5ee9018" url="www.pocketpc.ch/.../Business Forums"


    And Constantly timeouts on astaro forum.
    2012:06:18-21:01:16
    
    and
    2012:06:18-21:02:43
  • I thought it was just my install. I get timeouts almost every site I go to. I had to refresh multiple times. Ended up turning on web filter. I also have IPV6.
  • my timeouts are mostly wnd.com and these forums...although facebook will timeout as well..even though those are https and i don't have https scanning on...

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • traxxus, you have Application Control enabled. Do you also observe the timeouts when Application Control is entirely disabled?
  • I have tested it without app control before you enabled proxy-debug. I hasn't help, timeouts was still there.