HTTP content filter database change[7.302]

Yeah, had the same thing happen... I turned off uncategorized site blocking... They should have mentioned it was a new category filter db... they only say that we have more categories.  The cool thing about the new category filter is that with this one, one site can now have multiple categories assigned to it (the old Surfcontrol DB was one category per site), like the original Cobion DB allowed.  THis was a feature a few of my customers asked for.  I have noticed that the responsiveness of the HTTP proxy has improved (it was pretty good before), I guess the new db engine is quicker.

Agreed on the speed and I've also temporarily turned off uncategorized blocking. I'd already gotten about 20 requests to unblock sites this morning. I've filed a support request to find out which engine changes need to be submitted to and when I hear back from Astaro, I'll post back here (unless Jack Daniel or another Astaro staffer beats me to it).
 
Edit: Astaro support says it's the SmartFilter XL option. I submitted several changes and to their credit, TrustedSource accepted the changes and added them to their DB in less than an hour. My Astaro hasn't picked up on the changes yet though. Asked Astaro support whether content filter categories are being cached locally and for a rough estimate of how long it takes for DB changes to go "live" once updated by TrustedSource.
 
Another Edit:  content filter categorization is cached locally apparently, which is different from the HTTP cache.  No idea on the TTL, but it's at least 4 hours.  Have requested clarification on the TTL.

I upgraded to 7.302 version last Saturday and was looking for a link to document that contains a listing of the new categories (97 now instead or 60). Ideally this document would contain a description of the categories and possibly a few example sites. I know most are self-explanatory, IE: Web Mail would most likely have at least www.gmail.com and www.hotmail.com, but other categories are not so clear.

Anyone know of such a document and where I can find it?

Thanks

There is some information on the Trusted Computing website and we are working on documentation.  There is a 166 page, 1.64mb PDF at http://www.securecomputing.com/techpubs_download.cfm?id=2066 

Note that much of the PDF does not apply to the Astaro implementation, but the categorization information is relevant (pages 20-117).

Thanks Jack - That will help a bunch

Ok, perhaps I am misunderstanding something. I updated to 7.302 today and the stuff really hit the fan fast! I'm getting complaints from all over the place about  uncategorized websites.
"Allow content that does not match the criteria below" is checked.
"Suspicious and Uncategorized" is NOT checked.
"Block access to uncategorized websites" is NOT checked.
Yet I am getting blocking messages about "uncategorized not allowed". What the heck is going on? After today, I'm completely done with updating this box if it's a programming issue AGAIN!

As an example, one site a user was attempting to access is www.route66warranty.com. If I go to the astaro web site and test the site, I get.
For Astaro Security Gateway V7:
The URL 'www.route66warranty.com' is classified under the following categories:
Vehicles / Transportation

Ok, that's fine BUT, sure doesn't look like it's "Uncategorized" to me. Also, in the content filter, there isn't a category for "Vehicles / Transportation".

So, what gives? Is it my mistake or what?

There are two places to block/unblock uncategorized content (this is not new).

Both the "Block access to uncategorized websites" checkbox and the "Suspicious and Uncategorized" category must be unchecked to allow access to uncategorized sites.  Since both are unchecked, are either "Uncategorized" or "Categorization failed" in another category?

There are two places to block/unblock uncategorized content (this is not new).

Both the "Block access to uncategorized websites" checkbox and the "Suspicious and Uncategorized" category must be unchecked to allow access to uncategorized sites.  Since both are unchecked, are either "Uncategorized" or "Categorization failed" in another category?

Decided to blow away the astaro and restore from backup. Up and running now on version 7.2XX with no complaints and everything works. i'll play with 7.302 this weekend to see if I can re-create the issue when I have time to sort things out.

You have to use the Secure Computing test site for 7.302, not the old Astaro test site (it will be updated soon).

Secure Computing's site shows www.route66warranty.com as uncategorized.  They are very good about making an automated categorization within hours and then they follow up with a manual confirmation/correction.

The test site is http://www.trustedsource.org/en/feedback/url?action=checksingle

You can actually do a batch test if you have multiples, you will need to create an account (free) on the Trusted Source website.

The tech I got for the support case about recategorization has forwarded it to the devs for clarification.
 
As a quick recap:
 
You find an uncategorized site, then go to the TrustedSource website to submit the site for categorization. TrustedSource seems to review the submission and update their database within an hour. Your local Astaro install caches categorization, so will not pick up on the change until X amount of time has passed.
 
Trying to determine what X is. Whether it's every certain number of hours, at specific times of the day, or based on a TTL is unknown at this time.
 
If I remember, first thing in the morning I'll find an uncategorized site and submit it for change. I'll be certain to track the time it takes to be updated at TrustedSource and check the HTTP content logs on my Astaro to try and figure out when the change is picked up locally. If anyone else cares to do the same, feel free. [:)]

Hello,
if I activate blocking of uncategorized sites, and one of our users is blocked, because s/he went to an uncategorized site, is that URL automatically reported as uncategorized to TrustedSource? Or will I have to report it manually?

The uncategorized sites will need to be reported manually.

The uncategorized sites will need to be reported manually.

Is there any plan to add an automatic submit process in the backend (as I was told there was for Cobion, for example)?  This would certainly help make the content filter DB more comprehensive.

Sorry, I keep getting side tracked on testing the TTL for recategorized sites.  It's still on my to-do list though.

I tried it yesterday registered and submited a site a 1230pm and it was unblocked by 430pm. I did how ever get an email around 230 pm that it was categorized at 230pm.

So anywhere from 2 to 4 hours isnt really bad.

I like the idea of an automatic submittal for uncategorized sites. 

What I like even better is a link that my users can click that takes them directly to TrustedSource and they can recommened a category right on the webpage that says they are blocked. 
Even better than that would be an email sent we a site was reclassified by my user. I guess this would require the ASG to sumbit the change and hold the username and login info plus any email settings. Not sure if I am asking too much lol.

Thanks Joe.
 
I also like the idea of auto-cat, but I'm not so certain about allowing end-users to categorize things themselves.  I can see people trying to recategorize blocked things to a non-blocked category, so they can access.

If ....
Education is allowed and Games are blocked then Educational Games would be blocked.

What would happen if I kept the above and created/renamed a category and had Education and Games allowed?

WEBfilter meltdown?? aka sporatic results?

Would it be better if the ASG required both categories to be blocked access was blocked and if only 1 or 2 of the categories were blocked access would be allowed?

IF that was possible then maybe a setting in the content filter tab on how strict you wanted the filter to be.

Something like:
If 1 of the 3 is allowed, access is allowed = Low
If 2 of the 3 are allowed, access is allowed = MED
If 1 of the 3 are blocked, access is blocked = HIGH/Strict

This would allow education and games if education is allowed on LOW but block it on High.

Now lets say you were shopping for a video game. That would fall into Online Shopping (allow) / Games (block) / Software (block)
LOW would allow access, since shopping was allowed.
MED and HIGH would block it.

Just my 2 cents.