Problems with Web Security since upgrading to 8.202

Hi Scott,
Thanks for responding.

I guess I should have been clearer. When I said I was curious about what changed in 8.202, I meant:
1. What caused memory usage to increase so dramatically
2. What caused processor usage to increase so dramatically.

I understand what the intent of the changes were. What I'm not so certain about is the implementation. Either the new release imposes a huge increase on system resources because the web filtering process is doing substantially more than it was doing previously, or, there is something wrong in the way the updated process is implemented.

I know that previously, I had web filtering on, but I did not have any proxie profiles, or filter actions defined. It appears that the update now requires that those exist. I'm curious about why the default profile doesn't work if there are no other profiles defined.

I've adjusted the Web Filter by turning off the Application Control section to see if that impacts processor activity.

I'll let you know what occurs.

Thanks for your responses,


Jerry Lumpkins
Software Engineer
Linux User since 1996.

1.  the new features of web application control that are now part of web security
2.  see #1

because the implementation is closed and proprietary we have no idea.  Ram requirements go up and processor requirements go up.  One of the main performance problems is the cloud based content filtering.  when astaro's cff servers get slow(and they do a regular basis) then you have to wait for them as every single http request gets routed to those server.  There is a way to download the cff database locally(search the forums) but that only fixes some of the issue.  I use the default proxy profile exclusively right now...i don't have any kind of issues.  if your cpu is continuing to get nailed make a backup and reformat and reload.  it is most likely something is corrupted.  If you have support utilize that channel first.

Thanks again for the reply.

When I added the new memory to my computer, I decided to do a clean install, so I've already created a fresh environment.

I'm aware that the source is proprietary. I wasn't asking for it. I was suggesting that the new method was either requiring substantially greater resources by design, or that there was a problem with the way it was implemented. Being a programmer with 25 years of experience, I'm never surprised to find an unexpected inefficiency in new code.

You mentioned something that perked my interest. You used the term "cloud based content filtering". I thought that all of the content was being filtered on the local device using virus definitions downloaded locally. When did that change?

I can migrate everything to a stronger hardware platform. I didn't originally because numerous people said they were getting reasonable throughput with 32 bit processors with 2 GB of memory.

I'll continue to play with modifications to the filter actions, but so far, when I turn on web filtering (even with virus scanning disabled) processor usage goes from 5% to 40+ and increases even more when I try and load a web page. (like a page on facebook). There is a marked (50 fold) increase in the time required to load a page. I'm baffled by the high processor usage to load a single page.

I've used Astaro for at least four years now, and I've recommended it to numerous friends and businesses. This last update has me concerned.

Regards,

Jerry Lumpkins

i run asl on everything form atoms to quad xeons.  It is all a matter of how it is being used.  a/v is doine locally..content filtering however is cloudbased.  so you get hit with a triple whamy...

first request is sent out for website...this is routed to astaro's cloudy cff servers.  That's one delay.
once the classification is fetched and determined by your astaro to be one not resutricted the files are requested form the remote server.  This stream is then run thorugh the web application classification system and the anti-malware systems.  Thosae are each more delays.
The biggest way to help reduce the delay is eliminate the largest of the dealys..astaro's cloudy classification server. you can get the instructions https://community.sophos.com/products/unified-threat-management/astaroorg/f/55/t/44899 

i saw one thing.  you have a web server behind your asg.  How many hits does that site generate per say?  if it is a fairly active site that'll spike your cpu on top of the recent cpu usage increases contained int he 8.2xx series.

Thanks again William for responding.

My web server rarely gets hit.
And, the processor usage, and memory usage are low as long as web security is off.

My guess is that (as you said) the classification service is what is hammering me.
Thanks for the info on downloading it. My preference would be to simply not use that service, but I don't see any way to turn that off. (I'll look some more.)

My main reason for running the server is for malicious software coming in that I expect to be caught by the virus checking. I understand the significance of the classification service, but, if it imposes that heavy of a burden on a server with virtually no load, I'm curious as to what it does to a busy one.

Thanks again. I'll try to find the relevant documentation on downloading the ccf. But, again, my first preference would be to simply turn that off.

Regards,


j

I replaced my 32 bit AMD XP 2800 w/ 2GB of RAM with an Intel Core2 Dual with 4 GB.
When I reinstalled from the 8.0 ISO I continued to have problems until I replaced the install with a clean install of 8.202 directly from the ISO on astaro's ftp site: ftp://ftp.astaro.com/pub/Astaro_Security_Gateway/v8/software_appliance/iso/asg-8.202-28.1.iso. 

I'm now running fine with virtually no load on either the processor, or the RAM.

I'm not certain if the old processor would have handled the load with the new install. I'm guessing that it would have, but, I'm not going to build another computer to find out.

So, all's well that ends well, and I've now got everything running cleanly. The trick seemed to be to install 8.2 directly from the ISO, and to not upgrade 8.0.

Take care,

j

I replaced my 32 bit AMD XP 2800 w/ 2GB of RAM with an Intel Core2 Dual with 4 GB.
When I reinstalled from the 8.0 ISO I continued to have problems until I replaced the install with a clean install of 8.202 directly from the ISO on astaro's ftp site: ftp://ftp.astaro.com/pub/Astaro_Security_Gateway/v8/software_appliance/iso/asg-8.202-28.1.iso.

I'm now running fine with virtually no load on either the processor, or the RAM.

I'm not certain if the old processor would have handled the load with the new install. I'm guessing that it would have, but, I'm not going to build another computer to find out.

So, all's well that ends well, and I've now got everything running cleanly. The trick seemed to be to install 8.2 directly from the ISO, and to not upgrade 8.0.

Take care,

j

Xp 2800 was one issue that is a weak cpu.  Upgrading can lead to issues but in your case I would fault the old hardware you had.

Welcome to the world of Web Security on 8.2 - 8.202.  I've had nothing but issues and horrible performance from the Web Security on the ASG 110, 120 and 220.  I've also got a current support case open with Astaro Engineers and Devs that are attempting to figure out why Web Security is working correctly.  It's been about 2 to 3 weeks and they seem pretty stumped at this point.  I would recommend that you downgrade to 8.103 until Astaro can fix the problems with Web Security or just disable it all together.