Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 5 replies
  • Subscribers 1 subscriber
  • Views 3081 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Web Proxy Not Working

eganders_01
Help.  The Web Proxy is not running on this ASG with v.8.102 installed.  Looking through the log files, this problem may have originally occurred when either 8.00x or 8.100 was running on this Astaro.

The web proxy on this Astaro only works some of the time.   It passes HTTP/S correctly when the default HTTP/s packet filter is in place and working.  But when the Web Proxy is running, the logs incorrectly show only occasional http/s traffic, even with no pkt filter in place.

Based on other threads I read about HTTP issues involving the messages you see in the log files below, I shut off the AV,  removed and reinstalled DNS, and removed everything in the Transparent Mode Skiplist.  Unfortunately, none of that helped.

Below are the log files from the Astaro.  The first one was before I tried any fixes.  The second one was after I tried all the fixes, restarted the Web proxy and the ASG numerous times.

2011:03:21-12:10:24 firewall httpproxy[5446]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0x9479fc8" function="sc_categorize_url_remote" file="scr_scanner.c" line="907" message="no categorization received for url: 4.bp.blogspot.com/.../1924 Peerless.JPG"
2011:03:21-12:10:24 firewall httpproxy[5446]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0x96f1458" function="dns_expire" file="dns.c" line="156" message="dns query timed out, retransmitting (retry 1)"
2011:03:21-12:10:31 firewall httpproxy[5446]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0x9459b00" function="sc_categorize_url_remote" file="scr_scanner.c" line="907" message="no categorization received for url: 3.bp.blogspot.com/.../Washington, D.C., auto show. March 3-10, 1917.JPG"
2011:03:21-12:10:46 firewall httpproxy[5446]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0x96b88e8" function="sc_categorize_url_remote" file="scr_scanner.c" line="907" message="no categorization received for url: 1.bp.blogspot.com/.../Inspector Walsh condemning NYC taxicab. 1913.JPG"
2011:03:21-12:11:58 firewall httpproxy[5446]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0xa421f600" function="send_request_headers" file="request.c" line="171" message="write: Connection refused"
2011:03:21-12:11:58 firewall httpproxy[5446]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0xa429b038" function="send_request_headers" file="request.c" line="171" message="write: Connection refused"
2011:03:21-12:12:52 firewall httpproxy[5446]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0xa42171b0" function="send_request_headers" file="request.c" line="171" message="write: Connection timed out"
2011:03:21-12:14:43 firewall httpproxy[5446]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="sc_check_servers" file="scr_scanner.c" line="723" message="server 'cffs01.astaro.com' access time: 349ms"
.
.
.
2011:03:21-12:14:49 firewall httpproxy[5446]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="sc_check_servers" file="scr_scanner.c" line="723" message="server 'cffs12.astaro.com' access time: 320ms" 


 
2011:03:21-13:30:23 firewall httpproxy[8777]: Integrated HTTP-Proxy (c) 2007-2010 Astaro AG, Release 13.gd179945
2011:03:21-13:33:31 firewall httpproxy[8777]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="confd_config_reload_func" file="confd-client.c" line="714" message="reloading config"
2011:03:21-13:33:32 firewall httpproxy[8777]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="epoll_loop" file="epoll.c" line="626" message="starting exit cleanup"
2011:03:21-13:33:32 firewall httpproxy[8777]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="json_get_string_array" file="confd-client.c" line="391" message="no array given"
2011:03:21-13:33:41 firewall httpproxy[9180]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="main" file="httpproxy.c" line="174" message="reading configuration"
2011:03:21-13:33:42 firewall httpproxy[9180]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="main" file="httpproxy.c" line="189" message="reading profiles"
2011:03:21-13:33:42 firewall httpproxy[9180]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="disk_cache_zap" file="diskcache.c" line="430" message="creating cache"
2011:03:21-13:33:42 firewall httpproxy[9180]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="disk_cache_zap" file="diskcache.c" line="458" message="cache invalid, unlinking in background thread"
2011:03:21-13:33:42 firewall httpproxy[9180]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="rmdir_recursive_background" file="diskcache.c" line="422" message="unlinking /var/httpcache.001 finished"
2011:03:21-13:33:43 firewall httpproxy[9180]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="sc_load_list" file="scr_scanner.c" line="1123" message="sc type: 0"
2011:03:21-13:33:43 firewall httpproxy[9180]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="sc_update" file="scr_scanner.c" line="1214" message="started update thread"
.
.
.
2011:03:21-13:33:48 firewall httpproxy[9180]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="sc_check_servers" file="scr_scanner.c" line="723" message="server 'cffs12.astaro.com' access time: 320ms"
2011:03:21-13:34:05 firewall httpproxy[9180]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="main" file="httpproxy.c" line="217" message="finished startup"


 I'm not sure what to try or look at next, or if I should just dump the whole thing and reload Astaro from scratch.

Eric


This thread was automatically locked due to age.
Parents
  • 0
    We've had this problem for months and I am at a total loss. At first I thought it was our ISP, DNS, even the Astaro hardware we use. I've switched and troubleshot all of them (even ISPs!) and the only thing I'm left with is the proxy.

    Certain days in the afternoon around 2pm (perhaps when all the students are getting out of class) the web slows down to a crawl. We have a 50meg pipe and usually the bandwidth meter is showing 18megs or so.

    Sites don't load at all, timeout, or load without images.

    Browsing through an open port in the firewall (not using the proxy) works a lot better. I've tried OpenDNS, our internal DNS, ISP's DNS, I moved the entire Astaro box from a DL360G5 to a G7 with a quad-XEON and 6GB of RAM. We only have a few hundred users total so I know our box is capable - a report from yesterday showed 631 unique IPs throughout the entire day.

    I read this other post that seems very very similar to what I'm experiencing:

    https://community.sophos.com/products/unified-threat-management/astaroorg/f/55/t/44786

    There was no fix listed - well his fix was to ditch Astaro which I'm close to doing.

    We are using 8.101 and Standard Proxy mode. SSL scanning is off, Antivirus set to single, i'm not binding network definitions to interfaces. We are doing URL filtering based on a few categories. I am logging blocked content and caching is enabled (not ssl/cookie caching).

    Any pointers would be appreciated. I'll probably open a case shortly.
  • 0 in reply to dspender
    We've had this problem for months and I am at a total loss. At first I thought it was our ISP, DNS, even the Astaro hardware we use. I've switched and troubleshot all of them (even ISPs!) and the only thing I'm left with is the proxy.

    Certain days in the afternoon around 2pm (perhaps when all the students are getting out of class) the web slows down to a crawl. We have a 50meg pipe and usually the bandwidth meter is showing 18megs or so.

    Sites don't load at all, timeout, or load without images.

    Browsing through an open port in the firewall (not using the proxy) works a lot better. I've tried OpenDNS, our internal DNS, ISP's DNS, I moved the entire Astaro box from a DL360G5 to a G7 with a quad-XEON and 6GB of RAM. We only have a few hundred users total so I know our box is capable - a report from yesterday showed 631 unique IPs throughout the entire day.

    I read this other post that seems very very similar to what I'm experiencing:

    http://www.astaro.org/astaro-gateway-products/web-security-http-https-ftp-im-p2p-web-filtering-antivirus/34056-web-proxy-slow-again.html

    There was no fix listed - well his fix was to ditch Astaro which I'm close to doing.

    We are using 8.101 and Standard Proxy mode. SSL scanning is off, Antivirus set to single, i'm not binding network definitions to interfaces. We are doing URL filtering based on a few categories. I am logging blocked content and caching is enabled (not ssl/cookie caching).

    Any pointers would be appreciated. I'll probably open a case shortly.


    what is your ram, cpu, ram network usage?  depending on that it could be too many users on the box.  If those look ok then you are hitting the widely reported astaro http content filter database server chugging..[:)]  if everything appears to be fine then look here:

    http://www.astaro.org/astaro-gateway-products/web-security-http-https-ftp-im-p2p-web-filtering-antivirus/35399-web-proxy-local-content-filtering-database.html#post164083

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Reply
  • 0 in reply to dspender
    We've had this problem for months and I am at a total loss. At first I thought it was our ISP, DNS, even the Astaro hardware we use. I've switched and troubleshot all of them (even ISPs!) and the only thing I'm left with is the proxy.

    Certain days in the afternoon around 2pm (perhaps when all the students are getting out of class) the web slows down to a crawl. We have a 50meg pipe and usually the bandwidth meter is showing 18megs or so.

    Sites don't load at all, timeout, or load without images.

    Browsing through an open port in the firewall (not using the proxy) works a lot better. I've tried OpenDNS, our internal DNS, ISP's DNS, I moved the entire Astaro box from a DL360G5 to a G7 with a quad-XEON and 6GB of RAM. We only have a few hundred users total so I know our box is capable - a report from yesterday showed 631 unique IPs throughout the entire day.

    I read this other post that seems very very similar to what I'm experiencing:

    http://www.astaro.org/astaro-gateway-products/web-security-http-https-ftp-im-p2p-web-filtering-antivirus/34056-web-proxy-slow-again.html

    There was no fix listed - well his fix was to ditch Astaro which I'm close to doing.

    We are using 8.101 and Standard Proxy mode. SSL scanning is off, Antivirus set to single, i'm not binding network definitions to interfaces. We are doing URL filtering based on a few categories. I am logging blocked content and caching is enabled (not ssl/cookie caching).

    Any pointers would be appreciated. I'll probably open a case shortly.


    what is your ram, cpu, ram network usage?  depending on that it could be too many users on the box.  If those look ok then you are hitting the widely reported astaro http content filter database server chugging..[:)]  if everything appears to be fine then look here:

    http://www.astaro.org/astaro-gateway-products/web-security-http-https-ftp-im-p2p-web-filtering-antivirus/35399-web-proxy-local-content-filtering-database.html#post164083

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Children
No Data
Cookie Information Banner