This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Categorization Failed

We continue to see random times where the proxy goes into a slow down mode and the responses in the logs say "Categorization Failed" which usually leads to "Connection Refused".  Astaro support just says the problem is upstream and there is nothing they can do on the appliance end.  Their categorization servers are located all over and should fail over to the fastest server that responds the quickest.  Yet, during these slow periods our internet outside proxy works just fine?  We've been around and around with support on this issue and are quite frustrated.  Anybody seeing the same "categorization failed" messages?


This thread was automatically locked due to age.
  • Hmmm, sounds like a DNS problem.  Even though Astaro Support already looked at your device, please check the IPS log at a "slow" time to confirm that you are't having DNS responses swallowed by the new, more-powerful engine and rule set (In the future, please remember to specify the specific version; this comment assuumes you are on 7.502).

    I don't expect you to find anything there, and that the problem is the DNS servers of your ISP.  Try replacing those in the Astaro DNS Proxy with ones from OpenDNS: 208.67.220.220 and 208.67.222.222.

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • Yes, we have setup OpenDNS our box.
  • I just spoke with another school nearby that is having the same problems w/regards to connection refused throughout the day. Again, we are finding nothing so far in our WAN setup that would explain these slow downs.  Support has not been very responsive on this issue or another proxy/caching bug we put in with them recently.
  • Did you check the IPS log?  Maybe even the packet filter log?

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • When i start getting these errors it's 99% of the time something is wrong with your local content filter proxies that astaro runs.  Sometimes astaro's servers just get overloaded and the default is to deny the connection if it can't check with astaro's content database servers.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • Bob - Our IPS log is mostly empty, at least from the last couple of days.  Packet filter had something in it, but nothing to indicate a major issue.  Therein lies our frustration.  Support has supposedly gone over all this and keeps pointing to an upstram connection issue.  We continue to investigate those avenues and keep coming up empty.  

    Sometimes astaro's servers just get overloaded and the default is to deny the connection if it can't check with astaro's content database servers.


    In my estimation, this should only happen if our WAN connection is truly having some sort of speed problem.  This is an EVERYDAY occurrence for us and is not acceptable.
  • It's not a WAN problem..it's a problem with astaro's content database servers.  I just got hit server timeouts and if you look in the web security logs i bet you'll see lots of entries with errors in them.  Someting like this:
     url="twitter.com/.../friends_timeline.xml

    I've got tons of them right now which has made my entire connection unstable.  In my case i simply disabled the content filter.  Luckily I have opendns setup as a fall back..when astaro acts screwy(which has been quite a bit as of late) I activate my opendns profile and use that.  Right now I am on my opendns profiles for both installations as Astaro's content servers have been unreliable as of late.  since I'm not yet a partner all i can do is post here and hope one day Astaro fixes things..[:)]

    What you have to do is either disable to content filter(by unchecking all of the categories or checking all of the categories..depending on if you are using block or accept mode)..or disable the http proxy altogether.  I have been having this issue for months now and right now there's no fix as it is an Astaro issue.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • It's not a WAN problem..it's a problem with astaro's content database servers.  I just got hit server timeouts and if you look in the web security logs i bet you'll see lots of entries with errors in them.  Someting like this:
     url="http://twitter.com/statuses/friends_timeline.xml?count=20&since_id=8990606794" exceptions="" error="" category="188,195" reputation="neutral" categoryname="Blogs/Wiki,Social Networking" content-type="application/xml"url="http://l.yimg.com/us.js.yimg.com/i/us/fi/pf/images/icon-cnnmoney.gif" exceptions="" error="" content-type="image/gif"


    I don't understand this log snippet.  The entries I see in our logs are "Categorization Failed" which is followed by "Connection Refused".  If there Categorization Servers are having this many problems, then why is the problem not fixed?  Had I known Astaro was famous for these types of problems, we would have never purchased the solution in the first place.  I'm thinking of re-installing BorderManager and go back to that.  We NEVER had lags like this on BorderManager.  I hope that others who have these issues will let Astaro know that this type of performance is completely unacceptable.  We have slowdowns during the day to the point that it is almost unuseable and I should NOT have to implement any types of proxy or filtering workaround to the extent that I have been doing lately.
  • the error="" is one flag.  If there is an error you then get either some kind of connection refusal or a categorization failed.  Again if the firewall cannot reach the content database servers it will deny the connection..either by refusing it or simply timing out because it can't get to the content database servers.  The issue is the same just the results are different depending on what stage for accessing the content database servers your server was in when it failed.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • I have added my suggestion to the astaro feature request board.  Vote for it..[:)]
    CFF improvements

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow