[8.970] UTM9 Beta Performance Tweak

I am also very concerned about the swap file usage.
I have an Intel Server MB with 4Gb installed running a 32b Astaro, after a number of days the 1Gb swap file is in full use.
I'm about to build a new box that will have at least 8-16Gb ram.
I will upload stats like the other when I get a spare moment.

Mark

which features do you have going mark?  how many users as well?

ok my 2 GB experiment continues.  I now have 64% swap used with nearly 33% physical ram usaed as cache.  I'm a light user.  What happens to these machines w/2gigs(aka asg with only 2 gigs of ram0 once they get loaded up?  They are going to turtle then tortise.  I can free some up by using cloudy http proxy.  I'm assuming the design was for that type of configuration.....I'm curious if at leas tin my case this could be behind my http proxy timeouts as the http proxy is the number 1 swapper right now at 1 gigabyte..holy crud!  I'll try cloudy(i'm going to hear grumbles about performance) and see what that reveals.

Have you upgraded to the latest version yet? I believe they have done some optimization. Notice the free ram? Another interesting phenomenon that I have noticed for a while is that if you restart proxy by using /var/mdw/scripts/httpproxy restart, the proxy swap will decrease significantly as compared to when it is started via webadmin. My screenshot is below with swappiness at zero showing very little swap by http proxy and over a gig of free ram[:O]

Also I believe Sascha is on to something with local content database off. The cloud is working better than ever for me (well the local database is not as fast as it used to be[:(])

Regards
Bill

You aren't going to have as fast local when it's swapping more than half of its allocation..[:)]  i've switched to cloudy for now...will see if performance and memory usage improve or not.

And i've updated to the latest beta

Hi William
If you remember you have remoted into my box.
Their is one user.
Most of the features are enabled.
I have turned off a lot of the IDS signatures.
Web App is off
Site to site vpn is off.

fmain:/root # uptime; free -m
 13:15pm  up 2 days  3:35,  1 user,  load average: 0.60, 0.22, 0.17
             total       used       free     shared    buffers     cached
Mem:          3804       3376        428          0         63        908
-/+ buffers/cache:       2403       1401
Swap:         1023        447        576


top - 13:32:26 up 2 days,  3:51,  1 user,  load average: 0.29, 0.21, 0.16
Tasks: 166 total,   1 running, 163 sleeping,   0 stopped,   2 zombie
Cpu(s):  0.5%us,  0.4%sy,  0.1%ni, 98.9%id,  0.1%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   3895988k total,  3436740k used,   459248k free,    68908k buffers
Swap:  1048572k total,   458956k used,   589616k free,   922180k cached

  PID USER      PR  NI  VIRT  RES  SHR S   %CPU %MEM    TIME+  SWAP COMMAND                         
 4765 httpprox  20   0 1679m 727m 3732 S      0 19.1  14:54.18 952m httpproxy                       
 6523 snort     19  -1  715m 420m 9312 S      0 11.1   3:03.06 295m snort_inline                    
 7160 snort     19  -1  713m 403m 9312 S      0 10.6   3:26.83 309m snort_inline                    
 5721 snort     19  -1  713m 290m 9320 S      0  7.6   3:25.11 423m snort_inline                    
 6945 root      20   0  282m 233m 3892 S      0  6.1   0:25.72  49m cssd                            
 9189 wwwrun    20   0 65244  61m 7524 S      0  1.6   0:12.53 2036 webadmin.plx                    
 3772 root      20   0 75468  38m 3472 S      0  1.0   2:06.13  34m mdw.plx                         
11971 root      20   0 52508  24m 2696 S      0  0.7   0:07.53  26m confd.plx                       
 3173 root      20   0 46660  18m 2532 S      0  0.5   0:36.57  27m confd.plx                       
 3712 postgres  20   0  143m  16m  16m S      0  0.4   0:30.47 126m postgres                        
 5120 root      20   0 23540  15m 3348 S      0  0.4   5:53.96 7640 epp_client.plx                  
29535 root      20   0 46212  15m 1904 S      0  0.4   0:00.43  30m confd.plx                       
 4744 root      20   0 34440  15m 4656 S      1  0.4  30:24.25  18m ctasd                           
13155 root      20   0 46212  14m 1828 S      0  0.4   0:00.20  30m confd.plx                       
22274 root      20   0 14264  11m 2812 S      0  0.3   0:14.54 2000 websec-reporter                 
 4426 root      20   0 25932  11m 2072 S      0  0.3   0:48.80  13m awed                            
 3424 root      20   0 46212 9932 1332 S      0  0.3   0:17.21  35m confd.plx                       
 6545 root      20   0 25932 9792 1652 S      0  0.3   1:59.32  15m awed                            
22255 root      20   0 11184 9228 2796 S      0  0.2   0:02.60 1956 admin-reporter.               

Version  8.970-7
Mark

Been following this thread and just encase its useful (although probably not) I had a similar issue with the swap being rather large with v8.

After hunting around I found it was the proxy using it did a little digging into the settings for the proxy and turned off the caching, it instantly brought my swap size back down to not a lot and after a reboot its not staying at 0% where as before it was up to 20/30% within a couple of days.

Not tested v9 so can't comment on that but only a thought, caring is sharing and all that.

Well i have to report going back to cloudy has massively reduced the swapping at 2 gigs of ram.  Web performance has taken a noticeable but not excessive hit. Swap is now 3% which is perfectly acceptable(i am using vm.swappiness=0 however).  usually by now i'm nearing 15% or higher.  Does this mean the end of "official" support for the non cloudy http db settings?

Ok i've seen where astaro has the default swappiness to 30...i'm going to return to that value and see what happens now.

Been following this thread and just encase its useful (although probably not) I had a similar issue with the swap being rather large with v8.

After hunting around I found it was the proxy using it did a little digging into the settings for the proxy and turned off the caching, it instantly brought my swap size back down to not a lot and after a reboot its not staying at 0% where as before it was up to 20/30% within a couple of days.

Not tested v9 so can't comment on that but only a thought, caring is sharing and all that.

I'm not using caching..but i'm sure that could spike it more...since astaro went to their own proprietary caching engine I have no idea if the cache is ram based or disk based.