This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Content Filtering Slow

I am looking to move from v4 to v5 and also upgrade my hardware which is a celeron 400. I don't have any filtering enabled on the old system but would like to use these features in v5.
I'm testing a p2-400 and p3-933, both have 512 megs of ram and 10 gig hard drive.
V5 seems to run faster that the older setup, So that's good.
If I enable Content Filtering and put in 8000 url's in the URL Blacklist under Profiles, I find that webpages download much slower. Before a web page would take approx 1 - 2 seconds, with the blacklist entered, this same web page could take as long a 8 seconds. msn.com for example.
The 8000 URLs that is being blacklisted was taken from an old Sun Cobalt. The Sun Cobalt has no speed issues with this list of URLs with 150 users connecting.
If I decrease the number of URLs in the list or remove them completely, downloading webpages improves.
If I whitelist websites, ie: msn.com, or Enable Skip image scanning,  I don't notice any speed difference.
I am the only user connecting to the test machine, so I would be concerned if there were 25, 50, or even 100 users connecting.
Is this a hardware issue? Would a P4 be better at handling this?

Thanks
Normnd


This thread was automatically locked due to age.
  • using the blacklist is a kluge and that is lowing things down as everytime you put in a url it has to go through thousands of urls before it continues.  Try using hte content filter inside of asl 5.  It is much better than v4 IMO.  YMMV

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • the blacklist is not designed to add 8000 entries. I would not add more than 1000.

    Xeno
  • Thanks for your replies.
    After a few weeks of testing with different hardware, I found that the best was a P4 2.8 gig.
    Any computer that was 1.3 gigs and over seemed to work fine. 
    I did find using the blacklist very slow compared to using the content filter, but if I kept the blacklist under 1000 it was fine. The more entries I had in the blacklist, the more ram was being used. 
    As soon as the ram usage got close to 500 megs , I noticed disk swaping was being used even more but went down when I bumped up the ram to a gig.
    It does seem using the content filtering combined with the white list was the best. This would seem to be the way to go.
    Normnd