This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Transparent HTTP Proxy not working

Getting "temporary failure in DNS" error messages in the HTTP log files.  This problem happened after I restarted the Astaro.

When I disable the transparent HTTP Proxy, end users can browse without issue. 

DNS does not seem like it's the issue.  No changes to DNS either on the Astaro or the client workstations make any difference.

Clearing, enabling and disabling the Astaro's web cache doesn't help either.

Restarting, the Astaro doesn't help.

The only thing that allows end users to browse is disabling the HTTP Proxy.  There must be some sort of other HTTP files that are a problem.  How can I reset them?


This thread was automatically locked due to age.
Parents
  • I am also experiencing the exact same issue.  It also happened after a restart.  Does anyone have any ideas on what could be the problem?  I have restarted several times, toggled transparent/normal mode several times, disabled as many things as I could with no change.

    J
  • Can you resolve DNS from the Astaro?  Go to Support > Tools > DNS lookup tab and try resolving Google or other domains.  If the Astaro cannot resolve DNS, you need to review your DNS forwarder settings.  I would suggest pointing to OpenDNS (208.67.220.220 and 208.67.222.222), at least as a test.

    Also, if you the Astaro is not getting a DHCP address from your ISP, make sure you haven't selected the "Use forwarders assigned by ISP" checkbox under Network > DNS > Forwarders tab.
  • Can you resolve DNS from the Astaro?  Go to Support > Tools > DNS lookup tab and try resolving Google or other domains.  If the Astaro cannot resolve DNS, you need to review your DNS forwarder settings.  I would suggest pointing to OpenDNS (208.67.220.220 and 208.67.222.222), at least as a test.

    Also, if you the Astaro is not getting a DHCP address from your ISP, make sure you haven't selected the "Use forwarders assigned by ISP" checkbox under Network > DNS > Forwarders tab.

    Strange, when the web proxy is active, doing a dig lookup from a client computer works.  Using the Astaro Web management DNS lookup utility also works.  What doesn't work is trying to access a web page from a browser on a client computer when web proxy is active.  It also reports that DNS resolution is not happening when the web page access fails or that the server is not responding.  

    It's also strange that at various times, the web proxy DOES WORK, but only for limited times and then stops letting traffic through.  Looking at the logs, there's no real indication of why that happens.  There's something suspicious in the content filter logs where it was happily passing web requests along until the astaro system seemed to update its content filter categories from some files and at that point started dropping all requests with a few of the first requests getting a content filter category unknown. 

    Not an expert at reading the logs so I don't know if that's significant.
  • Same for me exactly. For me, all http: sessions in transparent worked, while the HTTPS didn't anymore for a sudden. I was looking into all aspects, like rules etc (see other post). 
    I was so desperate, that I reinstalled one FW with 7.200 just be sure it was not the .202. 
    Fresh install, no rules, just the 443 one and some very basic settings to access the outside incl. DNS etc. NO WAY...
    Switched into standard mode: it works! I don't want to change all clients everywhere just to "fix" it. Any idea appreciated. 

    Regards
    Danny
  • Same for me exactly. For me, all http: sessions in transparent worked, while the HTTPS didn't anymore for a sudden. I was looking into all aspects, like rules etc (see other post). 


    The transparent http proxy does not handle https traffic. I would suggest checking dns, nat and packet filter rules and monitor the packet filter live log when you go to a https site.
Reply
  • Same for me exactly. For me, all http: sessions in transparent worked, while the HTTPS didn't anymore for a sudden. I was looking into all aspects, like rules etc (see other post). 


    The transparent http proxy does not handle https traffic. I would suggest checking dns, nat and packet filter rules and monitor the packet filter live log when you go to a https site.
Children
  • Fully agree and all done. Used an old backup file to be on the save side and restored it. Nope. 
    Very strange. The only thing I have not done is to use the initial 7.1 build, where all was fine. 

    Danny
  • Do you see the traffic being allowed or dropped in the packet filter log?
  • One stray thought-
    On the DNS Forwarders page, do you have the checkbox for "use forwarders assigned by ISP" checked?  It is generally best to leave that unchecked and manually enter the appropriate DNS servers manually.  OpenDNS is probably the best bet for external DNS resolution at this time- unless you *KNOW* that your ISP's DNS is both secure and reliable.
  • One stray thought-
    On the DNS Forwarders page, do you have the checkbox for "use forwarders assigned by ISP" checked?  It is generally best to leave that unchecked and manually enter the appropriate DNS servers manually.  OpenDNS is probably the best bet for external DNS resolution at this time- unless you *KNOW* that your ISP's DNS is both secure and reliable.


    I disagree.  I have found that using windowsxp ipsec vpn with astaro and opendns results in the vpn connection failing to operate correctly.  Using hte isp assigned dns is the best route.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • @William- You are right, there are some situations where OpenDNS introduces oddities into resolution.  That's why I said "probably"...

    Between my personal experience and conversations at DefCon, I would not rely on any DNS server, especially from an ISP, without testing its security.  Compromised DNS servers are very real and in the wild, and users are being exploited by them.
  • @William- You are right, there are some situations where OpenDNS introduces oddities into resolution.  That's why I said "probably"...

    Between my personal experience and conversations at DefCon, I would not rely on any DNS server, especially from an ISP, without testing its security.  Compromised DNS servers are very real and in the wild, and users are being exploited by them.

    My isp's dns servers have been tested clean..however the issue of dns cache poisoning has been found to still be possible by another researcher.  65k ports is not enough entropy.  We really need DNSSEC but i don't see that being implemented anytime soon..[:(]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • One stray thought-
    On the DNS Forwarders page, do you have the checkbox for "use forwarders assigned by ISP" checked?  It is generally best to leave that unchecked and manually enter the appropriate DNS servers manually.  OpenDNS is probably the best bet for external DNS resolution at this time- unless you *KNOW* that your ISP's DNS is both secure and reliable.


    For me, that box is not checked and I have added OpenDNS's ip's with no change in behavior.  Actually, when using the Support > Tools > DNS resolution tool, the resolution works.  However, the DNS requests from the internal DNS server or even to the OpenDNS servers are somehow not getting through the transparent proxy.  I also noticed something else strange recently.  When the web proxy is on, the box is able to send reports by email, but not when the proxy is off.  However, with the proxy off, all regular traffic for users is fine.