Web Browing Slowness

Hi Alvin,
check your cpu usage and error reports.
HTTP proxy will also be slow if the link to the ASG categorisation servers is slow. If you look in the HTTP log you will find some entries with response times, that will give you an indication of a possible problem.

Not all traffic goes through the http proxy. Also how is your proxy setup, transparent or standard?

I have a PF internal-> 1030:65535 1:65535 -> allow -> any to cover other applications.

Ian M

Hi Ian

- My CPU Utilization based on visual looking at the Dashboard is usally 3 - 8 %.

- RAM is 27% of 3GB.

- HTTP Proxy as Transparent.

- I would look into the HTTP Logs to see the connection to the categorization servers.

- My Internet Bandwidth is 2Mbps and it is not congested, really very low usage.

- Thank You

In transparent mode, no HTTP should go through the packet filter.  Can you flag your PF rule for logging and then watch the live log to see what goes through via your rule?

Cheers - Bob

Hi Ian

1) Thank You for the point that connection to the URL Filtering can affect my browsing. I totally forget about that. I always thought it is just because I am not using a Appliance but then again by HP Server seems far much more powerful than a Appliance.

2) Thus I kept HTTP/S Proxy Transparent Enabled but I disabled everything under URL Filtering.

Indeed it is much faster.

3) I look at the HTTP Logs and this is what I have, is the last 2 numbers the connection / ping response to the URL Database Servers?

4) Do you have the IP Address / FQDN of those servers so that I can do Traceroute and Pings to get my ISP fix it?

2010:05:31-16:24:32 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:31 +0800] "POST /index.plx HTTP/1.1" 200 397
2010:05:31-16:24:34 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:33 +0800] "POST /index.plx HTTP/1.1" 200 487
2010:05:31-16:24:36 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:35 +0800] "POST /index.plx HTTP/1.1" 200 397
2010:05:31-16:24:38 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:37 +0800] "POST /index.plx HTTP/1.1" 200 397
2010:05:31-16:24:39 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:38 +0800] "POST /index.plx HTTP/1.1" 200 301
2010:05:31-16:24:41 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:40 +0800] "POST /index.plx HTTP/1.1" 200 411
2010:05:31-16:24:44 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:43 +0800] "POST /index.plx HTTP/1.1" 200 396
2010:05:31-16:24:46 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:45 +0800] "POST /index.plx HTTP/1.1" 200 397
2010:05:31-16:24:49 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:48 +0800] "POST /index.plx HTTP/1.1" 200 398
2010:05:31-16:24:51 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:50 +0800] "POST /index.plx HTTP/1.1" 200 397
2010:05:31-16:24:52 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:51 +0800] "POST /index.plx HTTP/1.1" 200 301
2010:05:31-16:24:54 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:53 +0800] "POST /index.plx HTTP/1.1" 200 410
2010:05:31-16:24:56 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:55 +0800] "POST /index.plx HTTP/1.1" 200 303
2010:05:31-16:24:57 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:56 +0800] "POST /index.plx HTTP/1.1" 200 395
2010:05:31-16:24:58 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:57 +0800] "POST /index.plx HTTP/1.1" 200 397
2010:05:31-16:25:00 ASG httpd: 192.168.1.2 - - [31/May/2010:16:24:59 +0800] "POST /index.plx HTTP/1.1" 200 397
2010:05:31-16:25:01 ASG httpd: 192.168.1.2 - - [31/May/2010:16:25:00 +0800] "POST /index.plx HTTP/1.1" 200 398
2010:05:31-16:25:02 ASG httpd: 192.168.1.2 - - [31/May/2010:16:25:01 +0800] "POST /index.plx HTTP/1.1" 200 397
2010:05:31-16:25:04 ASG httpd: 192.168.1.2 - - [31/May/2010:16:25:03 +0800] "POST /index.plx HTTP/1.1" 200 409
2010:05:31-16:25:07 ASG httpd: 192.168.1.2 - - [31/May/2010:16:25:06 +0800] "POST /index.plx HTTP/1.1" 200 400
2010:05:31-16:25:09 ASG httpd: 192.168.1.2 - - [31/May/2010:16:25:08 +0800] "POST /index.plx HTTP/1.1" 200 301
2010:05:31-16:25:11 ASG httpd: 192.168.1.2 - - [31/May/2010:16:25:10 +0800] "POST /index.plx HTTP/1.1" 200 414
2010:05:31-16:25:12 ASG httpd: 192.168.1.2 - - [31/May/2010:16:25:11 +0800] "POST /index.plx HTTP/1.1" 200 302 

Balfson,

- I enabled my LAN -> ANY = Allow Rule.
- Indeed Web Browsing is Faster.
- I do not see traffic via the PF.
- I tested accessing some blocked sites and indeed I see my proxy block.
- Do you think there is some "modules" in Astaro such as the connection to Astaro URL Filter Database need certain Ports to be open and only fail to HTTP Port when the normal ports does not work. Thus the "fail over" makes things slower?

After a Lot of Troubleshooting, I am convinced my Slowness is Related to the time needed by the Astaro to talk to Certain Servers to check on the websites and respond back to me etc.

I isolated slowly by turning on AV, Turn Off AV, then Use URL Filtering, without URL Filtering etc.

I am using OpenDNS but I switch to my ISP DNS and no obvious difference.

Do you all have the List of such "URL Filtering Servers" FQDN?

This way I can do Traceroute and send to my ISP to check on why it is so bad.

- I enabled my LAN -> ANY = Allow Rule.
- Indeed Web Browsing is Faster.

Hmmm, the only reason this might make sense is related to DNS. In transparent mode, the client PC does DNS lookups.  How is your client PC configured for DNS?

Cheers - Bob

try this as well, when you enable the URL filtering,please cut and paste a few logs of the http proxy log. this will show the proxy time per each object, and if necessary we can assist you with picking a better server. we have a really good server selection process which is constantly updated by the asg. it is in the file servers.sorted to see the latest list your asg will consult, and these addresses will be reshuffled based on response time and availability "on the fly".

for those with bigger home boxes and spare ram, we are currently looking at adding the option to "download the url database" to the local installation. This will need a fair bit of additional memory (too early to tell, but at least 300MB to maybe 1Gig, way to early for those details) ,thus it is probably only a viable option for software installs or bigger boxes that have extra ram.

however it might be worth it to check your responses to servers in servers.sorted from the cli.

Hmmm, the only reason this might make sense is related to DNS. In transparent mode, the client PC does DNS lookups.  How is your client PC configured for DNS?

Cheers - Bob

Balfson - 
Network Services - DNS
LAN is in Allowed Network
DNS Forwarders is configured to use Open DNS 
208.67.222.222
208.67.220.220
Unchecked the Box below which shows the DNS from my ISP.
I configured LAN to be Allowed to use Astaro DNS Proxy.
My Client DNS is set to Astaro (Default Gateway IP Adress)

Below is the Logs to CNBC Mobile Home with my Current HTTP Proxy Settings with URL Filtering, Antivirus etc all enabled.

I cleared all my Browser Cache, restarted computer etc between the test.

Below is the URL Filtering Settings which I changed.
NOTHING else in AV is touched.

[V] Allow content that does not match the criteria below.
[ ]  Block Spyware infection and communication (UNchecked)
[ ] Block URLs with a reputation below a threshold of:UnVerified (UNchecked)
Block these website categories:
[ ] Inappropriate Content (Custom Catagory, UNchecked)
[ ] Information Security Threat (Custom Catagory, UNchecked)
[ ] Block access to uncategorized websites (UNchecked)

The Difference in loading the website performance is extremely significant.

Attached are the logs ( I truncated to 1/3 of it as there is a size limit)

Hope this is sufficient to pin point the problem

Angelo

Logs attached, please have a look when you are available.