Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 13 replies
  • Subscribers 3 subscribers
  • Views 6420 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

web filtering slowing down network

murfman
I'm seeing a pretty significant slowdown of internet speeds when I turn on web filtering.  

When I do a speedtest without the web filtering proxy turned on, I see ping times around 28ms to 35ms, download speeds around 4Mbps and upload speeds around 2Mbps (1.7 to 1.95).

Turning on web filtering slows things down signficantly.  
I get pings around  225ms to 290ms.  My download speed drops down below 2Mbps.  The upload speed doesn't drop as bad, but still, it is around 1.3 to 1.4Mbps.

Turning on and off the virus scan changes the numbers some, however, it just seems to confuse the speedtest when it is turned on.

I have Astaro running on a fairly low power system.  It is a micro-ITX motherboard with an Intel Atom D525 processor (dual-core Atom at 1.8GHz).  The daily executive summary and the hardware logs have never shown the CPU log over 20%, in fact, it is usually below 5%.

I don't have many connections running at once.  At most, we would have 3 computers accessing the internet at any one time.

My web filtering has 5 different proxy profiles:  completely blocked, whitelist only (with a long whitelist), strong filtering (most categories blocked), mostly open (very few categories blocked) and completely open.

When I run through the "completely open" proxy filter, it is still running the proxy but doesn't do any filtering.  In this case, I still get the pings above 200ms, but my throughput is closer to the non-proxy speeds of 4Mbps.

Is the Atom system just not fast enough to run Astaro even in a simple environment like mine?    How fast of a system would I need for this?

Thanks

Brian


This thread was automatically locked due to age.
  • 0
    Here's some more information related to my Astaro box.  I only have one local network (on the motherboards network card).  The WAN connection is on the Intel PCI card.
    The system has 4GB of memory.

     Intel Atom Dual-Core D525/Intel NM10/DDR3/A&V&GbE/Mini-ITX Motherboard, BOXD525MW 
    Crucial CT2KIT25664BC1067 4GB 204-PIN PC3-8500 SODIMM DDR3 Memory KIT (2GBx2) 
    Intel PWLA8391GT PRO/1000 GT PCI Network Adapter 

    I'm running Astaro 8.202 64 bit.

    thanks
  • 0
    I've tried a few additional web filtering settings.  It looks like nothing I do, aside from turning off the web filtering, addresses the issue.  I've run "top" from the console and see that I've got 3.5GB of memory used, ~500MB available.  The CPU usage from the top command doesn't seem to jump above7% when it is doing web filtering, however, I'm still seeing quite a bit of slowdown in internet downloads.

    Any ideas?
  • 0 in reply to murfman
    Hi Brian, what you are seeing is fairly normal and the speed drop that you are seeing is not real but is skewed due to the way the proxy handles traffic. Astaro's proxy can handle significantly higher bandwidth without any adverse effects than what you are trying to test against. Details below[;)]

    As you have noticed, the ping times go up significantly higher, that is due to the fact that the proxy queries the content database servers on the internet before it will serve any request adding the additional time. This is not a big deal most of the time for regular web surfing but if you actually measure the latency like you are doing or are a gamer, you will have to work around this by either running the database locally or bypassing proxy for the sites that present the problem. You can run the database locally as described in the thread https://community.sophos.com/products/unified-threat-management/astaroorg/f/55/t/44899 

    As far as the speed test goes, the the proxy caches the download test, scans it for virus and then you get the file, making most of the speed tests unreliable. You can create exceptions for caching and av scans and the speed test will be identical with or without the proxy.

    Hope this clarifies certain things.

    -Bill
  • 0
    As a test, do things improve if you turn off Application Control Network Visibility?
  • 0
    Thanks for the suggestion on the web proxy local content filtering.  I've ssh'd into the machine and set the "cc set http sc_local_db mem" command and restarted the proxy.
    How do I know when it is done downloading?  I'm currently using the web interface network usage log to see when the network usage drops.

    Application Control Network Visibility is already off.
  • 0
    The db is around 350 MB in size, so you should be able to estimate from that.
  • 0
    I left the system overnight to download the database.    Running the "cc get http sc_local_db" command producted http->sc_local_db = "mem".  It should have the local database now.
    Application Control Network Visibility is also off.

    I have turned off the anti-virus scanning for the speed testing so that it doesn't get confused.

    My download speed has significantly increased, but my ping time is still 238ms.  Unfortunately, my kids do play a lot of online games (counter-strike, racing games, etc.) where a high ping could be a problem.  My older son also has some online classes where the higher ping could be an issue.

    When I turn web filtering off, I run the ping test a pingtest.net and get 19ms with a 2 ms jitter.  Running the pingtest.net with filtering on, I get roughly the same results.
    The problem is speedtest.net.  It reports ping times around 230ms or more when web filtering is on.  Turning web filtering off, I get ping times around 33ms.

    I've used cygwin to ping google.com and received ping times between 30ms and 40ms.  I checked the counter-strike game my son plays and it reports latencies for the fastest servers around 50ms.
    speedtest.net continues to give me ping times above 230ms when web filtering is on and around 30ms when web filtering is off.  Is this value real?  I'm I chasing a problem that doesn't really exist?

    Is there anything else I should check as far as the latency and throughput of my network?

    Thanks again.
  • 0
    Can you perceive a real-world performance difference when actually using these apps?  

    There will always be some kind of hit when using a scanning proxy.  Every time a web request is made, it has to be checked against the content filter db (now local), any whitelists/blacklists that you've setup, MIME filters, file extension filters, scanned by AV (single or dual depending on your settings), etc.  This takes time to process, measured in fractions of a second (ms) for each request.

    If there is a specific app where the performance hit is too great and you trust the server that it is connecting to, you can always use the Web Proxy log to determine the server address and then use this information to create exception rules in the Web Proxy to skip specific security checks to improve performance.  If using the proxy in transparent mode, you also have the option of using the Transparent Proxy Skiplist to bypass the proxy altogether for selected sites.
  • 0
    I checked the web filtering logs and found several (hundreds) of log entries similar to this one:

    2011:10:19-07:56:08 murf-astaro httpproxy[19780]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="sc_check_servers" file="scr_scanner.c" line="721" message="server 'cffs01.astaro.com' access time: 324ms" 

    What is Astaro doing here and is this impacting my network?
    Thanks
  • 0
    This is checking the local database against the master database for updates/changes.  The frequency of this is hardcoded and can't be modified.  I believe it checks every 15 minutes or so.