Local Web Filtering Database RAM Issues

Hi, Alvin, good to see you around again!

One customer with 6GB has no problems with mem.  I don't think I'd recommend it with only 3GB though.  Why not replace those two 512MB DIMMS with 2GB ones?  

Cheers - Bob

Hi Bob,

Very happy to see you too, simply too busy with work thus can't look at forum like the way I used to.

It used to work fine until recent version, when it was working fine, I recall 80% of 3GB Usage so there must be some bug somewhere.

It was only in 9.1 (The Last Major Upgrade) whereby it suddenly went Max Out the RAM to 99% and the Swap Keeps Growing Non Stop to the point of Daily Reboots.

I tried to live with the Default ( NO Local Cache) - have to admit it is way too slow.
I gave my ISP all the CFF Servers Address and Traceroute, they claim they did their best to optimize it.

It is obviously the CFF problem for my slowness as I simply need to set Local Cache = MEM, give it less than 30 mins to download and that is it, very good.

My HP Server G3 is 6 years old, the Graphics VGA is also dieing (Purple Display) thus not worth spending on RAM ( I don't even know where to buy)

So those customers on APPLIANCE 110 and 120, they have only 2GB, how do they use the Local Cache?

I turned on Local Cache = MEM.
RAM went from 55% to 66% which is Normal.
I would monitor and hopefully this latest version fixed the bug.
For others who is keen the command is as follow
* USE AT YOUR OWN RISK*
cc set http sc_local_db and then using disk / mem / none to choose between disk, memory or no local database.

EXAMPLE: 
cc set http sc_local_db mem
/var/mdw/scripts/httpproxy restart

To DELETE the Local Web Content Cache

/var/storage/chroot-http/var/pattern/sfcontrol
rm sfcontrol

My HP ML110 Server used to be on 3GB thus I use MEM.

Now I switch to a Fit-PC2i which is 2GB, Local Cache = Mem would hit 90%

Since I am using a Samsung EVO 120GB SSD, I changed Local Cache - Disk

Personally, I don't think I can feel any difference between MEM or DISK (SSD) but does this make sense to you all?

or I simply should stick to MEM since it is just 90%

Hi, the disk option would be better as you need to keep some free RAM.
The reporting systems which run at night need some RAM, etc.
Otherwise, swapping will occur, which will cause a noticeable performance impact.

Barry

actually in v9.x you don't have to use local anymore nor disk.  If you enable endpoint protection..you actually flip to a new hybrid proxy that does some ram caching natively. It caches lookups for a certain amount of time..it doesn't contain the entire database though.  however i've been running it for quote a while and i now don't see an appreciable difference between MEM and off now.

using a SSD for cache with kill your ssd very fast.  writes to the disks have a maximum before it dies.

Hi,

I am a LOCAL CACHE of Web Content for a very long time (Since I saw the commands in the forum)

I THINK (Was too busy thus when it breaks, I simply switch it off) since version 9.1***, the Local Cache Breaks due to Extreme RAM Usage, it simply Hits 100% out of my 3GB and SWAP Keeps Increasing Steadily.

I Switch OFF Local Cache and everything is back to normal but this HTTP Speed is getting on my nerves.

I am now on Latest Sophos UTM 9.106-17 and just want to check if the rest of you is having Local Cache = MEM working?

I just want to determine if it is a Known Issue OR it is just my machine problem.

I would try DISK next if MEM still eats all the resources.



Thank You,

disk does chew up ram due to the database isn't in ram but the INDEX still resides there.  9.1x using the sxl system rivals the local cache in performance and doesn't chew up the resources either.  I would give that option a try.  First you have to set local cache to zero.  then restart the http proxy.  wait at least 5 minutes for things to stabilize and then as root type
cc set http use_sxl_urid 1
give things time for the cache to build and things should work nicely.

To be honest I am not sure how good/bad SXL is with a SDD in terms of disk writes - it is a little out of my experience.

AFAIK, it uses a memory-mapped file that is about 56MB in size as the cache.  Cache writes probably go to disk, and a cache write is done every time you need to do a cloud lookup (roughly 10% of the time - highly dependent on number of users).

Hi Michael,

I an running version 9.106-17 on a SLC based SSD. Local disk cach option is enabled. (cc set http sc_local_db disk). The SSD is an older Mtron 60 gb hard drive that has performed very well. This SSD has been in two different home ASG's. I have used the disk cache feature since it became available in version 8. The hard disk is 4 or 5 years old now and has run 24X7X365 for that duration. The only down time is patching/updates/power outtages. I believe the key for SSD utilization is to select a SLC based device rather than MLC based. The NAND used is somewhat different between the two in both structure and functionality. Many commercial (server) SSD's are SLC. My ASG is a core2duo E7500 with 8gb of ram with two intel gigabyte NIC's.

Regard,
Jim