Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 26 replies
  • Subscribers 2 subscribers
  • Views 7719 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Trying to find hardware answers

scottd
I have a 10mb connection to the internet and approx.  3200 workstations.  I am seriously considering the Astaro product because it really appears that it will meet my needs.    The problem is I can't find and information on scaling when it comes to number of workstations.   We would obviously install Astaro on our own hardware.     We would use Firewall, Content Filter, NDS Authentication, Filtering using Groups,  Intrusion Detection,  AntiVirus/AntiSpyWare.

I've talked to people who are doing the same thing we want to do but on a smaller scale.   So im asking for help building a box.   

Is it even possible to run all this on one machine for 3200 clients?

Our current filter handles about 2.5 million requests a day and we do about 8mb of traffic to the internet at our peak time. 

I really need some help hope you guys and girls are it.  Thanks.

I should add that even though there are 3200 nodes they wont be connected at the same time.


This thread was automatically locked due to age.
Parents
  • 0
    Take a look at the data sheet:
    http://www.astaro.com/content/download/2437/18745/file/Datasheet_asg_overview_en_01032006.pdf

    There are some specs on the hardware appliances; the high-end models can handle 2000 concurrent users, 1,000,000 concurrent connections, ...

    You could buy one of those, or build something similar with a good dual Opteron or Xeon system, with lots of RAM.

    To be honest, with only a 10MBit connection, I don't think you'd need to worry too much.

    Barry
  • 0 in reply to BarryG
    scottd,

    my guess is that you will be better off with one of Astaro's hardware solutions.  If you look at how the Astaro software licenses: http://portal.knowledgebase.net/display/2n/kb/article.asp?aid=119934&n=1&s=1 your going to need a fairly large license in order to cover your IP's / sessions.

    When we did the math (but we have not purchased yet) we could get a pair of 220's + maintenance etc. for the price of a single software license.
  • 0 in reply to BrucekConvergent
    The only installations I've dealt with of that size are on Astaro Hardware.  I'd check out the HCL at http://www.astaro.com/kb  to make sure the RAID controller is on the list, and to make sure that your NICs are on that list (those are the most often-overlooked items... if they are not on the HCL, they probably will not work).  As far as raw "horsepower", that configuration sounds fine. Bear in mind that although ASL technically supports SMP, the SQUID proxy that it runs has performance issues when run on a SMP system.  I recommend you load it with the noSMP option.


    Not sure what SMP exactly means but incedently we are currently running a Squid proxy with come custom filtering software and it seems to handle the load fine.  I know I can't base performance off of that but it looks like a good sign.
  • 0 in reply to scottd
    SMP stands for Symettrical Multi-Processing.  Dual-Core Processors and systems with multiple processors are known as SMP systems.  There is no stability issue, etc. when running Squid on a Xeon Dual Core processor with the Dual-Core feature turned off... when you turn it on, Squid can experience a "race" condition, which will cause it to fail.  It's well documented on the Squid web page and in Astaro's Knowledgebase.  Astaro recommends that if you are using an SMP-capable system, and are going to use the HTTP Proxy, that you perform the install of the software using the nosmp switch.  I also believe that the appliances that have SMP-capable hardware in them are running with SMP turned off, for stability reasons, with the Squid Cache.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0 in reply to BrucekConvergent
    SMP stands for Symettrical Multi-Processing.  Dual-Core Processors and systems with multiple processors are known as SMP systems.  There is no stability issue, etc. when running Squid on a Xeon Dual Core processor with the Dual-Core feature turned off... when you turn it on, Squid can experience a "race" condition, which will cause it to fail.  It's well documented on the Squid web page and in Astaro's Knowledgebase.  Astaro recommends that if you are using an SMP-capable system, and are going to use the HTTP Proxy, that you perform the install of the software using the nosmp switch.  I also believe that the appliances that have SMP-capable hardware in them are running with SMP turned off, for stability reasons, with the Squid Cache.


    Then there is no advantage of having Dual Core processors.  What about Standard Xeons with Hyperthreading?
  • 0 in reply to scottd
    Hyperthreading creates the same issue, it looks like 2 cpu's to the OS.  I'm not saying don't buy such a system (I run one myself), as I'm sure the folks that are doing development work for Squid will eventually fix the stability issue with SMP, and then you can take advantage of it.  Of course, if you're not using the Proxy, the other components (Kernel, etc.) work fine in SMP mode.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0 in reply to BrucekConvergent
    Here's an excerpt from the Astaro KB:

    SMP Kernel slows down the HTTP-Proxy
     Product Version: 5.000 or later 
      
    Symptom: 
    If using Astaro Security Linux with an installed SMP kernel, the HTTP-Proxy performance slows down by approx. 50%. 
    Cause: 
    This is a known issue of the current Linux kernel.

    Resolution: 
    If the major task of Astaro Security Linux is to serve as an HTTP-Proxy, you can increase the performance by installing the default Linux kernel.
     


    ----IMHO, this should really read as "there's an issue with Squid AND the SMP Linux Kernel" as other modules aren't affected.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0 in reply to BrucekConvergent
    Here's an excerpt from the Astaro KB:

    SMP Kernel slows down the HTTP-Proxy
     Product Version: 5.000 or later 
      
    Symptom: 
    If using Astaro Security Linux with an installed SMP kernel, the HTTP-Proxy performance slows down by approx. 50%. 
    Cause: 
    This is a known issue of the current Linux kernel.

    Resolution: 
    If the major task of Astaro Security Linux is to serve as an HTTP-Proxy, you can increase the performance by installing the default Linux kernel.
     

    ----IMHO, this should really read as "there's an issue with Squid AND the SMP Linux Kernel" as other modules aren't affected.


    Well that kind of puts a damper on things since the main reason we are looking at the Astaro product is its Filtering ability.

    So it goes back to my original question performance.   Will I still beable to support the same number of users with SMP disabled on the same box?
  • 0 in reply to scottd
    You're taking this wrong... just install the ASG software on your hardware with the NOSMP option (the first screen you see after you boot off the install CD says how to do this).  If you are looking at an appliance (if it's one of the bigger ones with hyperthreading), it will already be setup this way.  It works just fine without SMP enabled, and the bigger units can handle a LOT of requests.  Memory is a key here, we use 512 as a minimum, with 1GB becoming more of a norm lately.  Trust me, it works great.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0 in reply to ffeingol
    Compare your needs to this:
    http://www.astaro.com/firewall_network_security/asg425

    It's just running a P4.   It does have the advantage of using the Sensory AV acceleration card, which I would recommend with that level of usage.  When we sell one, this is one of the bigger performance increases we see, in the AV scanning!  It might be possible to use a card like this on your hardware, Sensory does sell them on their site.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0 in reply to BrucekConvergent
    You're taking this wrong... just install the ASG software on your hardware with the NOSMP option (the first screen you see after you boot off the install CD says how to do this).  If you are looking at an appliance (if it's one of the bigger ones with hyperthreading), it will already be setup this way.  It works just fine without SMP enabled, and the bigger units can handle a LOT of requests.  Memory is a key here, we use 512 as a minimum, with 1GB becoming more of a norm lately.  Trust me, it works great.



    Thanks for being so patient.    What I am asking is with SMP turned off and the Operating system not able to take advantage of the hyperthreading or dual core performance will Astaro still meet our needs?      From what Im gathering is it will but I need to be sure before I invest $20K into the product.  I realize there are eval units but since school lets out in June and we are in our final weeks I don't know if I have time for a proper test.
  • 0 in reply to scottd
    We've sold (we're preferred resellers) a 425 to a rather large school system... They seem to be pretty happy with it.  I understand your concern about an eval unit, but it only takes about an hour to install one in transparent mode, so you can guage the performance of the content filter.  A note, too:  If you're like a lot of schools we run across, you're probably running Netware.. This integrates beautifully with NDS.  Also, the new version of software, V7, will include a significant enhancement to content filter performance (I know how, but I'm not sure if I can tell that!), but it should be pretty significant.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

Reply
  • 0 in reply to scottd
    We've sold (we're preferred resellers) a 425 to a rather large school system... They seem to be pretty happy with it.  I understand your concern about an eval unit, but it only takes about an hour to install one in transparent mode, so you can guage the performance of the content filter.  A note, too:  If you're like a lot of schools we run across, you're probably running Netware.. This integrates beautifully with NDS.  Also, the new version of software, V7, will include a significant enhancement to content filter performance (I know how, but I'm not sure if I can tell that!), but it should be pretty significant.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

Children
  • 0 in reply to BrucekConvergent
    I thought the SMP problems were with the content filtering (Cobion?), not with Squid (caching http proxy).

    I also thought those were fixed in 6.x

    Am I wrong, or is this a different issue?

    Barry
  • 0 in reply to BarryG
    I haven't been told that it's been fixed yet... the squid-cache.org website still indicates that SMP operation is not supported (it works, but SMP does it no good).

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0 in reply to BrucekConvergent
    Hi there all, 

    the SMP performance issues noted on the Known Issues list are limited to ASG V5.

    ASG Version 6 is NOT affected by that issue.

    The reason for the limited SMP performance in ASG V5 was the innefficient handling of threads in the Linux 2.4 kernel. Interrestingly was the thread scheduling performance in 2.4 uniprocessor mode better than in 2.4 smp mode

    As ASG V6 is based on Linux 2.6 kernel, it handles now threads as planned and therefore the HTTP proxy as well as content filter performance scales very nicely.

    Squid is not the bottleneck in this issue.

    O hope that shades light in the dark.

    Best regards
    Gert

    P.S: Custom installed Sensory Network Accelleration cards are not working ASG Software version, as the cards as well as the BIOS of the ASG appliances have been modified to properly handle memory mapping.
  • 0 in reply to Gert Hansen
    Hmmm... I didn't know they had fixed the stability issue (most of the issues I had -- quite a while ago-- actually traced back to some issues reaching some of the Cobion servers 'round the globe) ... they really should update this KB article, as it says "5.x and above" are affected!

    Am I right (at least according to the squid-cache.org site) that Squid still does not take advantage of SMP?  It sounds like the stability issue is resolved, but Squid doesn't take advantage of multiple processors yet, does it?

    I agree with you in that he should not have any scalability issues, in any event!

    --thanks for the note on the Sensory cards. Their website doesn't make mention of needing a special BIOS to run them..

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0 in reply to BrucekConvergent
    Am I right (at least according to the squid-cache.org site) that Squid still does not take advantage of SMP?  It sounds like the stability issue is resolved, but Squid doesn't take advantage of multiple processors yet, does it?
    Squid itself is a single-threaded process, though depending on the disk-backend you use it can utililize dedicated processes for processing IO (specifically the diskd backend).

    In practice, squid itself is rarely a bottleneck on any modern processor, usually network or disk IO speeds are the limitation.
  • 0 in reply to drees
    A clarification: even if squid is single-threaded, the rest of the firewall can use the extra CPUs.

    Barry
  • 0 in reply to BarryG
    I think you should remember regarding licensing, you only need a license large enough to handle the number of clients passing traffic THROUGH the firewall.

    If most users are web browing, checking emails, then these will terminate at the firewall and be proxied by the firewall and not count towards the number of users. Only servers / power users should need external direct access.
    This is especially relevant to schools where most students are typically locked down hard. (Well their PC's anyway [:D])

    That said, the hardware should be sufficient to handle the traffic generated.
Cookie Information Banner