Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 8 replies
  • Subscribers 0 subscribers
  • Views 1217 views
  • Users 0 members are here
Options
Suggested

[8.270][INFO][NONE] Web Security Performance

Billybob
I did a non scientific test of proxy performance using the script  Stopwatch Please remember that this is a non scientific test where I don't have any control over the script, moreover the website performance might vary slightly between requests. I tried to do the tests one after another to get similar traffic conditions for all tests.

First, let me say that I didn't realize how light weight the proxy is without the av-scanner and without local content filter database. The av-scanner adds about 100 megs to the proxy and content filter adds another 300+ megs making it a resource hog at 540 megs with single AV and local content database.

Testing parameters: I loaded the site www.astaro.org twice without the proxy using packet filter to cache the DNS request and establish a baseline. I cleared the proxy cache and restarted the proxy between each test to clear any memory caching by the proxy.

The results are eye opening... With the local content database in memory and single AV scan enabled, the http proxy is almost 3 times faster on loading www.astaro.org. The screenshots are attached below.

Another interesting thing that I noticed was that the av scan slows down the proxy considerably when testing sites like cnn.com etc with a lot of graphics and external links.

Regards
Bill
  • 0 
    Astaro Beta Report
    --------------------------------
    Version: 8.270
    Type: INFO
    State: NONE
    Reporter: Billybob
    Contributor: 
    MantisID: 
    Target version: 
    Fixed in version: 
    --------------------------------

  • 0
    One last screenshot with AV scan without local content filter database...
  • 0 in reply to Billybob
    It would be nice to know if that is any faster than 8.20x. Of course it would be a pain to test that I suppose since would have to use the same hardware for it to be valid.
  • 0
    do you have the link on how to enable the lokal database? i would test that for me too. 

    Robert
  • 0
    Hi Bill,

    I did a non scientific test of proxy performance ...


    Yes, i read your disclaimer, but please allow me to add a few pieces of information, facts that you might not have known before.

    First of all: please do not use astaro.org for performance tests of any kind. Your results will be bogus (at best). The system is under constant load, so there's generally a high variance of the response times. Additionally, as the webserver is running in a HA configuration, which also affects the response times, rendering your tests completely useless. You're basically testing the webservers latency, not the proxy performance. Please trust me on this. I have shell access to that box and the load average varies, usually between ~2 and  ~8, but sometimes we see a load of up to 40.

    Now to the stopwatch site itself. Looking at the JavaScript that does the "performance test", i can see that they are using Javascript timers (which are generally unreliable) to calculate the time it takes to fully render the page in a separate frame. So, what you are basically get, is the time that your browser needs to to render the page and execute every piece of JavaScript in it. Yes, you are testing your browsers performance for a given website, not the proxy performance. 

    So, if you insist on testing the proxy performance, make sure that you

    • test against a webserver whose contents consist of pure statically html and images of mixed sizes
    • test against a physical machine (ie. not a VMware guest)
    • connect that webserver directly to the ASG so you measure congestions on the line
    • connect your test-clients directly to ASG too
    • use appropriate tools to test


    Don't get me wrong: I'm open to any discussion about the ASG performance, but please, don't use a sundial for measuring seconds. I refuse to draw any conclusions from numbers that are that inaccurate.

    Cheers,
    Kai
  • 0 in reply to kbr
    Hi kai, sorry for offending you with my test. That was not the purpose. As I mentioned, this is not a scientific test and I had no control over the scripts or the server. Using the same browser on the same machine for all the tests should alleviate your concern about the test being browser speed test and not the proxy test.

    I tested against astaro's website since I knew you guys would know more about the inner workings of that website/server making it more relevant instead of me testing against some akamaized website. Me setting my own server and testing locally would be ideal but I am not publishing this in a magazine.

    The results are not really out of the ordinary, actually the developers should be proud that the proxy performs at packet filter speeds when not burdened with content filtering and av-scans. If you let the proxy cache the content, it performs even better than I thought. Also as I mentioned in my post, I personally never realized how light weight the proxy is without all the other stuff latched on and Sven and others should be congratulated for their efforts to keep it like that.

    The purpose of my test was not to beat the dead horse of local content database... I use it all the time and am grateful that I have that option. It was more to test the latency when using the single av-scan and I should have been more careful at emphasizing that part of my test. 

    All in all, take it for what its worth, just a snapshot of the performance that I see from my end when using the proxy with different configurations, nothing more nothing less and definitely not a shot against the developers for their efforts.

    Regards
    Bill.
  • 0
    Hi Bill,

    sorry if my reply sounded a little harsh - there is no reason for you to apologize. If you're still interested in this kind of performance testing, let me point you to a tools that actually does the job: ab, short for "ApacheBench" (wikipedia), is the Apache HTTP server benchmarking tool that comes bundled with the apache webserver. It has lots of command line parameters to fiddle with. 

    Please do NOT run it against any production website, because you can easily generate a high load on the server, and some admins might see this as an attempt to DOS them.



    Please also be aware that this benchmark is rather synthetic, because ab only checks a single URL, while a real website usually has to deliver many pieces of content (images, javascript, etc.).

    Cheers,
    Kai
  • 0
    iirc, you can get the http log from a webserver (or from a proxy), and 'replay' it through ab, to simulate a realistic load.

    Barry
Share Feedback
×

Submitted a Tech Support Case lately from the Support Portal?