[7.006] http-proxy categorizations error

I think there has been a massive failure in Astaro categorisation this morning around 0920 GMT. I've turned off the HTTP Proxy.

Same here [:(]
I called astaro support and they confirmed its a corrupt pattern.
They said in half an hour it should be fixed.

bbb

This is very annoying.  
I have eDirectory Issues
I have Proxy Issues
I have Content Filter issues
I have Hardware acceleration issues.

And now this

In the college I look a right twat for recommending this product...  Come on Astaro pull yourself together and show to people why they should continue to use this product....

My pattern is still on 4511...  Is there any way of jump starting this, I have toggled the automatic update, but to no avail...

I also notice that 7.008 isn't pulling the new pattern whilst 7.007 did it almost immediately. 7.008 has tried twice .... hmmm ....

I agree with timed events. In v6 you could choose the frequency of check and update. I never bothered updated the A/V patterns more than daily and firmware updates weekly. Pointless - unless you are trying to stave off a 0-day.

the problem is that many server on "internet" fall down and the surfcontrol-server not reachble..

After speaking to James (thanks James!), and verifying his experiences, here's what happened to me, and what I think is the problem:

Downloaded and applied 7.008 last night (Thurs) no problem.

At about 0720 GMT this morning (Friday), virtually all websites (inlcuding *.astaro.com) started getting Categorization Errors

Tried restoring 7.007 config (taken pre-update to 7.008) - this failed

Disabled Spyware Blocking - problem solved (Note, I did not need to disable A/V)

As far as I can tell, the problem is 2-fold:

Firware upgrade 7.008 causes a number of problems, including IE browsing problems through proxy, the inability the restore backups, inability to automatically install Up2Date patterns

Up2Date Pattern 4517 totally corrupts categorization and causes the categorization errors when browsing.

So, if you're on 7.008 and 4517 (like me), you're stuffed! You can disable Spyware checking, but at the moment, can find a way to get 4519 installed.  Have searched at ftp://ftp.astaro.com/pub/ but can't find pattern files.  Anyone have the URL for these?

Warwick

This is not an issue with a pattern update. We are experiencing the same Categorization errors on 7.007, different pattern file. We are also getting authentication server issues. I believe Astaro's Up2date servers and Content Filter database servers are down. Content filter database is not stored locally everytime the box gets a URL request it queries a set of known Content Filter server databases on Astaro's network. The fact we are all getting the same error as well as the Authentication Server errors I am getting leads me to believe one of Astaro's datacenters is down. Would be nice for Astaro to notify us about this. I have platinum support and have placed a support call as well as setup a support case on my.astaro.com.....still waiting.[:@] 

Werwar you are correct, you don't have to disable the HTTP proxy or AV scanning, all you need to disable is URL filtering.

This looks to be resolved

The AV Pattern files was a red herring
It looks like it was an issue with the internet astaro / surfcontrol servers, as Hi-con says
I am still on 4511, but all my categories work now

I'm seeing our ASG220 w/ 7.008 with the corrupt definition being unable to update (it's been stuck on 4512 but 4523 is available). On the ASG320 w/ 7.007 the updates are working fine.

On ASG v6 I seem to remember you could apply pattern updates manually. This doesn't appear to be the case with v7.

I'm checking via the CLI to see if I can force an update ...

James,

Contact Astaro support and notify them that your definition files are corrupt. They will login to your system and fix that issue.

All seems to be back on track again.  My Pattern Files are now up to date on 4524.  I have re-enabled URL Filtering, and all is good.

Very, very, worrying though.  At least I did get 1 response from the 3 (Platinum) support calls I logged this morning.  According to the response: "ContentFilter databank servers were not reachable"

Warwick

All seems to be back on track again.  My Pattern Files are now up to date on 4524.  I have re-enabled URL Filtering, and all is good.

Very, very, worrying though.  At least I did get 1 response from the 3 (Platinum) support calls I logged this morning.  According to the response: "ContentFilter databank servers were not reachable"

Warwick

Yay ... working again on 7.008 on old patterns.

Despite all the lies, rumour and conjecture (probably generated by myself O_o) I'm at a loss to explain why my 7.007 boxes worked flawlessly and my 7.008 failed consistently ... perhaps there are multiple content filtering "hubs" - one died and that was the one my 7.008 one was talking to? But the pattern update on 7.007 did resolve the issue immediately? So perhaps both events were intertwined ... dud pattern update in conjunction with a rapid pattern replacement caused a meltdown somewhere?

Who knows?  Whatever the cause, this is as good a reason as any to wonder why Astaro doesn't have some sort of a Service Status dashboard, where one can quickly see if there are any service issues, with links to service announcements.

Sure beats everyone arriving at work with no service and then scrambling around wondering wtf is going on.

Warwick

As mentioned earlier in this thread, the true cause of the categorization error issue is the inability of an Astaro box to reach the content filter database.  I've been seeing this happen quite a few times in the last month.
 
Yesterday when this occured, it was actually an issue with Astaro's ISP having problems according to one of their support engineers.  Nobody could reach Astaro's servers because they had no internet access on and off throughout the day.
 
By default, Astaro is configured to block all web access when the categorization error occurs.  Personally, I've found this behavior to be annoying and problematic.  Previously I put in a support request asking that this be a configurable option in WebAdmin, whether to allow or block if this issue occurs.  This would be much better than the current solution which is to turn off the proxy.  If any of you agree with me on this and have support contracts, generate a ticket with Astaro support requesting this feature.

Consider me in for that.  Support ticket on the way

I've made the same feature request, once during the Version 6 "era", and once recently when we started deploying V7... it would be such a simple option to add.. hopefully if enough of us request the feature it will get added.

Wow, you mean to say that my Enterprises ability to access the Internet securely depends on Astaros and/or someone elses ISP? I'm with Mike H., I look like a right twat for recommending these devices. 2 x ASG425's

By default, Astaro is configured to block all web access when the categorization error occurs.  Personally, I've found this behavior to be annoying and problematic.

No kidding? Thank god I don't use the web proxy for filtering! At the very least, Astaro should be using Akamai or something to handle this type of load, in addition to being able to configure the default behavior should the categorization servers be unreachable.

Hang on a minute ... in the HTTP Proxy you have the option to Block Uncategorized Web Sites. According to the manual "Enabling this option will prevent the browser from opening web sites of unknown content.".

So theoretically leaving this unchecked or checked actually does absolutely nothing if the Astaro content categorisation servers are down???

I was under the distinct impression that leaving this unchecked was a fail safe given the circumstances described above.

Well all I can say is the HTTP proxy in v7 has performed consistently unreliably from day 1. As another poster pointed out - how on earth can Astaro offer v7 as an enterprise capable solution when it is so finnicky and flakey. I've been using Astaro for nearly 7 years and v7 has severely tested my patience. I don't get these kind of issues on the Fortinets or Junipers that I deploy.

James

I'm with you on all that.  Hopefully their new HTTP attempt (7.1 apprently)  will be better.

As far as your thoughts on the uncategory part, Astaro still needs to talk back to the server to know it is uncategorized so if the server is down you will get the default block action.

Hope that explains it a bit better...