Network Slowness (DNS related?)

If your seeing good DNS resolution times, then the problem is probably more one of processing times or bandwidth availability than one of DNS.
 
Is this any site or just one specific site?
 
Is your Astaro installed on a machine with decent CPU and a good amount of memory for the work that your expecting of it? If your running 7.5X or higher, you really need 1GB memory. If you're running with 512MB memory, a P3 processor, and swap file usage is high, then you need to give it some more oommpphh. [:)]
 
Do you have HTTP/S caching turned on in Astaro?
 
Are you using single or dual AV?
 
You can follow along with the load times by watching the Live Log while pages are being accessed.

Thanks for the fast reply!

It's a dual core machine with 2GB of RAM.  The CPU usage never goes above 5% (it's at 1% right now) and the RAM usage usually hovers around 40% used and it never goes into swap.  I have a 5Mbps by 768Kbps connection and if I'm running a straight download I will get VERY near that (usually I see 4.95Mbps by about 750Kbps).  And as I mentioned if I go to an IP address of a known web server it will start to load almost instantly.

It's every site, not just one in particular.  I have caching enabled and I'm using the dual AV scanning.  If I turn the HTTP/S Proxy totally off I experience the same problem however.  Which live log should I be watching?

Hi,

I am experiencing the exact same behaviour with a ASG 8.003 running as VM with 4 GB of RAM and 2 vCPUs (2,58 GHz) in 64bit mode. CPU load never reaches 5%, memory load is about 10%, zero swap file usage. I configured the DNS servers of the provider.

The webadmin interface responds a bit sluggish too.

The VM runs on a ESXi 4.0 host with 8 VMs. The host has an average CPU load of about 2,5% with peaks of 6,5%.

HTTP/S caching is enabled, also single-pass virus scanner and URL content blocking.

The VM is connected to a 34 MBps internet connection and the internal VLAN. The internet traffic averages around 1 MBps. Most part of the traffic accounts to video streaming.

What springs to my eye is, that the machine runs smooth for some hours after initially setting it up, then, after a day, the performance drops to very low levels.  The HTTP/S access log, URL Filtering logs and packet filer logs don't give any clues.

Does anybody have a hint?

Regards
Alex

Glad to know I'm not the only one, even if it doesn't bring us any closer to a solution.  I was afraid maybe I was loosing my mind and just imagining it.  [:P]  Though my network isn't nearly as complex as yours (being as it's my home network) I am using the same version as you, 8.003.

For others who might not have ruled out their server responses time via scripts, this might help as well (just to have it on the record for searching).

This is quite common when using DNS servers which might be slow, have a broken hop in the route to them, are overloaded, or other reasons. You can easily look at the HTTP log and see the "object" response time per log line of an http request (per object). It is also common that if the ASG cannot get valid responses from the ones you have configured (or the default ones pulled via DHCP) then it will fall back to DNS Root servers, which are very overloaded much of the time.

It is quite easy to fix. Go to the DNS forwarders settings of your ASG  (network services--->dns-->forwarders, and try using the OpenDNS servers 208.67.222.222 2nd 208.67.220.220 , making sure you uncheck the "use fwd's assigned by ISP". Also dont forget to put the source network into the allowed networks box on the leftmost global tab such as "internal (network)".

Remember if you are using the proxy, your own local DNS settings on the client machine won't be used for proxy related traffic, so it must be done in asg. If it fixes the problem, there you go. Regarding your problem, have you tried disabling the AV scanning and other features, just to troubleshoot? The fact that you can do lightening fast IP searching is almost 100% pointing to a DNS problem. Without the proxy does the surfing happen at expected rates?

For others who might not have ruled out their server responses time via scripts, this might help as well (just to have it on the record for searching).

This is quite common when using DNS servers which might be slow, have a broken hop in the route to them, are overloaded, or other reasons. You can easily look at the HTTP log and see the "object" response time per log line of an http request (per object). It is also common that if the ASG cannot get valid responses from the ones you have configured (or the default ones pulled via DHCP) then it will fall back to DNS Root servers, which are very overloaded much of the time.

It is quite easy to fix. Go to the DNS forwarders settings of your ASG  (network services--->dns-->forwarders, and try using the OpenDNS servers 208.67.222.222 2nd 208.67.220.220 , making sure you uncheck the "use fwd's assigned by ISP". Also dont forget to put the source network into the allowed networks box on the leftmost global tab such as "internal (network)".

Remember if you are using the proxy, your own local DNS settings on the client machine won't be used for proxy related traffic, so it must be done in asg. If it fixes the problem, there you go. Regarding your problem, have you tried disabling the AV scanning and other features, just to troubleshoot? The fact that you can do lightening fast IP searching is almost 100% pointing to a DNS problem. Without the proxy does the surfing happen at expected rates?

Great solution AngeloC! I would also suggest Google DNS as an option. I've used the OpenDNS servers in the past and ran in to the same kinds of issues reported in this thread. However it should be known that it was very, very rare. 

Google DNS servers are 8.8.8.8 and 8.8.4.4 (posted simply as a second option to OpenDNS)

If you look at my original post I'm already using OpenDNS but it makes no difference what DNS servers I use.  I can use OpenDNS, Google's DNS, or my ISPs DNS and the problem is EXACTLY the same.  And disabling the proxy makes no difference, the problem still exists.

If you look at my original post I'm already using OpenDNS but it makes no difference what DNS servers I use.  I can use OpenDNS, Google's DNS, or my ISPs DNS and the problem is EXACTLY the same.  And disabling the proxy makes no difference, the problem still exists.

Welp, I suggested it simply because its part of trouble shooting 101. No service is perfect and if changing DNS resolves the issue then we have an answer, hense the reason we check it. Plus you might have noticed, I stated I've had the problem reported using OpenDNS. I changed to OpenDNS after having the exact same problem with my ISP. So, with that, I feel it was viable, if you don't, then lets move forward.

Turning off the web proxy didn't do anything for us so there has to be another unknown variable.

Are you using static or DHCP or both for your internal IP address assignments?

What happens if you plug a workstation directly in to your internet connection? Does the problem go away? 

Seems simple, but has the ASG been rebooted since the last patch installation? 

What kind of device is your ASG? Purchased appliance, home build or virutal?

Would it be easy to back up your ASG config and rebuild the appliance? Maybe something got tweaked during an update.

Let us know.

Honestly I like using OpenDNS because of the extra level of filtering it provided and I have been using it for years.  DNS was my first thought which is why I tried a couple of them in case OpenDNS was being weird.

External address is static.  The internal addresses are static DHCP leases so they always get the same IP.

I haven't tried plugging a workstation directly into the cable modem, I will give this a try this evening.  I have plugged directly into the LAN port of the Astaro box eliminating my internal network and the problem still existed.

Yes, it has been rebooted.  I just went through and re-wired my machines about a week ago and the Astaro box was shut down for a while as I did this.

It's an HP refurbished desktop machine that I put a second NIC in and use it for Astaro.  My home network is all of 5 machines and the loads have always been really light.  I have just started having the problem despite having run Astaro on this box for 6+ months.

It would be quite easy to do this though I would prefer to do it as a last resort.  Wifey doesn't like it when I monkey with the internet connection you see.  [:D]  The configs are emailed to my gmail account nightly.

Thanks for the help!!

Does your browser or antivirus do site checking for phishing etc? I've seen a slow connection at someones house turn out to be the users inability to get to his antivirus's phishing check site.