Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 12 replies
  • Subscribers 1 subscriber
  • Views 4458 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Content Filter Performance Issues with 500+ Users

Tmor
Hi all,

We are evaluting the ASL 5.05 content filter and are having serious performance issues.  Our Routers are doing source routing of http requests on port 80 traffic to the ASL.  No other traffic touches the box. There is only one rule activated in the content filter and that is to block porn for all our networks.  There are no user / group configurations.  Otherwise the box is a standard installation.

The hardware is a dell 2.8GHz machine, 1GB Ram, and a Gbit Ethernet Interface.

Here are a few of our observations.

50 Users:

CPU Load: 0.1
Memory Usage: 150MB
Traffic: 500Kbit
Connections: 600
Http Pages: 600
DNS Queries: 0.5
TOP Stats: CPU usage: 1-10 Procent

No Performance downgrades.

200 Users:

CPU Load: 0.2
Memory Usage: 160MB
Traffic: 1.2Mbit
Connections: 2000
Http Pages: 2500
DNS Queries: 1.5
TOP Stats: CPU usage: 10-25 Procent

Very minor lag in some obscure sites  (comparable to current solution with 600 users)

450 Users:

CPU Load: 0.6
Memory Usage: 190MB
Traffic: 2.2Mbit
Connections: 3500
Http Pages: 4500
DNS Queries: 2.4
TOP Stats: CPU usage: 30-60 Procent

2-8 seconds lag between loading of any page. At this point our IT director pulled the plug.

We are testing several solutions (because of the cost of our current solution), however I would like to see the ASL implemented.  It has other very useful features which we could use in our corporation.

There are no caching servers in our network and this is not an option. Our pipes are also quite thick so there is no bottle neck there.

What I think is happening is that the DNS queries are killing the machine.  So I activated the DNS cache and rerouted (i think) the queries to our DNS caching server but I didnt actually do a packet capture on the network to verify this.   This produced a very minor improvement.

TOP also reported some fairly large spikes in processes like syslog-ng, alicd, and a few others.

So does anyone else have a large user base using the content filter?

Suggestions?


This thread was automatically locked due to age.
Parents
  • 0
    For one, I would do another test with 5.1
    Even though it is technically listed as a beta, I have been finding it to be quite stable, and maybe it's proxy is faster than 5.0's

    A dual CPU would probably see you with reasonable performance up to 350 users; that's an educated guess based on the non-linear (or inverse logarithmic) performance increase that SMP affords, and your single CPU test results.

    How to tweak the proxy for more? I completely defer to Astaro on that.
    But proxying by its nature has a lot of computational overhead, and I think it will require dedicated proxies for that large an audience.

    The software is willing but the hardware (of a single server) is weak. Going to a quad CPU will be cost prohibitive; better to use a dedicated proxy.

    Besides offloading to a dedicated proxy, since you appear to want this proxying handled by Astaro, what is the possibility of segmenting the users to use two Astaros? (either seperating them internally on different LANs or just have two groups set their gateways differently...). Astaro has a configuration manager to uniformly manage them; maybe the licensing for two servers would be reasonable, especially when you explain to them why you're needing them. I don't know if that will work for you, but I'm just trying to think of any possible options...
  • 0 in reply to SecApp
    Nice idea with the quad cpu but from the CLI all statistics that we observed said our maching was working at about half the capacity with 450 users.  The machine was not maxed out at this point.  HTML pages simply took forever to load.

     We currently have an iprism and have had it for 3 years.  The main difference is it works as a bridge, however it does not have nearly the resources of the desktop and the iprism operates flawlessly. No lag what so ever handling all 600 users.  It also does its own DNS lookups and there are quite a few of those at any given time. 

    The actual function as a proxy may be slowing it down as squid must handle the traffic, cached or not.

    We would like NO proxies in our network.  We are not worried about anything being cached, utilization,  or direct connections.  Actually I would like to see the ASL function as a bridge (pipe dream) simply sending a reset connection to both sides should a web site be flagged by the content filter.  This would probably improve the performance.

     Unfortunately the iprism TCO is very expensive per year.  Thats why we are looking to switch products.
  • 0 in reply to Tmor
    When you say, "We would like NO proxies in our network", are you saying that from a #boxes standpoint, or having a box on the LAN standpoint?

    You will see a boost from the additional CPU, but I still contend that it will probably be not enough for your needs.

    Are you going to test 5.1?
Reply
  • 0 in reply to Tmor
    When you say, "We would like NO proxies in our network", are you saying that from a #boxes standpoint, or having a box on the LAN standpoint?

    You will see a boost from the additional CPU, but I still contend that it will probably be not enough for your needs.

    Are you going to test 5.1?
Children
  • 0 in reply to SecApp
    When I said "No Proxies" I mean a  machine (pc based) that in essence will put itself inbetween the client/server or otherwise modify connections, packets or network segmentation. 

    I am not sure that an upgrade would help.  I would like to hear from astaro about other enterprise installations and hear how others may (or may not) have solved this problem.

     I have a dell 2850 that has 2 processors and 4GB ram, however the ASL doesnt support the LSI Perc4 RAID controller.  All dell servers have this card integrated today.  It would be a tough sell to go, "hey ID Director, well we have this really kewl software, but I need 20k for licenses and another 20k for hardware".  However get it working on a desktop, and we can probably work with that.

    I definately would like to get this working.  My temporary license expires on the 7th of Feb, so we have until then to see if really can be done in a cost effective way. 

    I am probably going to install NTOP on Monday to see whats really going on on the network side.  
  • 0 in reply to Tmor
    [ QUOTE ]
    When I said "No Proxies" I mean a machine (pc based) that in essence will put itself inbetween the client/server or otherwise modify connections, packets or network segmentation.

    [/ QUOTE ] 

    Just curious, though: what do you care whether a dedicated PC does it on a DMZ, or Astaro also does it?

    You probably have a good reason, I'm just curious to know what it is...
  • 0 in reply to SecApp
    He seems to prefer Astaro do their pr0n filtering (proxying) instead of another computer/device.

    Barry