Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 38 replies
  • Subscribers 1 subscriber
  • Views 14001 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Undo Local Content Cache = MEM Steps

Alvin
Hi

- Quite sometime ago I followed some command prompts to enable the Astaro to download Local Cache for Content Filering to be stored locally and loaded into RAM.

- Seriously it is GOOD !

- Now I need to Consider to "Undo" the changes because

1) My HP Server has 3GB, now a days it hits about 60% RAM but the SWAP keeps going Higher and Higher to the point it is significantly slow.

I rememeber reading somewhere the Software Version is limited to 1.5GB to force people buy the Appliance thus even if I have 3GB it would not use it.

I did install the 64-BIT version hoping to get it use the addtional ram but it did not.

I do not understand (My ASG is configured to the point I kept it the same for months) but the recent RAM and SWAP usage is forcing me to reboot weekly whereby the RAM hits about 50% and Swap is Zero but it simply grows steadily constantly .

Thus I plan to Undo this Local Cache = MEM to reduce the RAM usage.

2) Another reason to UNDO this specific modification is to prepare my system back to "Standard Configuration" so that I can Upgrade to the upcoming UTM9 in the next few weeks.

Do you all know if this Local Cache is available in UTM 9?


This thread was automatically locked due to age.
  • 0
    I am switching back to Local Cache = MEM - somehow Today Web Browsing is Significantly Slow ( I personally suspect it is related to that SANDY Storm which may have taken down some data centre used by this content filtering thus connection to other data centres may be slower due to distance or the load )

    I seriously look forward to this feature officially available via the GUI.
  • 0
    2012:10:31-11:07:37 server 'cffs01.astaro.com' access time: 938ms"
    2012:10:31-11:07:40 server 'cffs02.astaro.com' access time: 889ms"
    2012:10:31-11:07:40 server 'cffs03.astaro.com' access time: 681ms"
    2012:10:31-11:07:41 server 'cffs04.astaro.com' access time: 777ms"
    2012:10:31-11:07:42 server 'cffs05.astaro.com' access time: 889ms"
    2012:10:31-11:07:43 server 'cffs06.astaro.com' access time: 690ms"
    2012:10:31-11:07:44 server 'cffs07.astaro.com' access time: 690ms"
    2012:10:31-11:07:44 server 'cffs08.astaro.com' access time: 453ms"
    2012:10:31-11:07:45 server 'cffs09.astaro.com' access time: 895ms"
    2012:10:31-11:07:45 server 'cffs10.astaro.com' access time: 611ms"
    2012:10:31-11:07:46 server 'cffs11.astaro.com' access time: 669ms"
    2012:10:31-11:07:47 server 'cffs12.astaro.com' access time: 779ms"
    2012:10:31-11:07:48 server 'cffs13.astaro.com' access time: 750ms"
    2012:10:31-11:07:48 server 'cffs14.astaro.com' access time: 610ms"
    2012:10:31-11:07:48 server 'cffs15.astaro.com' access time: 208ms"
    2012:10:31-11:07:49 server 'cffs16.astaro.com' access time: 429ms"
    2012:10:31-11:07:49 server 'cffs17.astaro.com' access time: 249ms"
    2012:10:31-11:07:50 server 'cffs18.astaro.com' access time: 610ms"
    2012:10:31-11:07:51 server 'cffs19.astaro.com' access time: 779ms"
    2012:10:31-11:07:51 server 'cffs20.astaro.com' access time: 899ms"
    2012:10:31-11:07:52 server 'cffs21.astaro.com' access time: 869ms"
    2012:10:31-11:07:53 server 'cffs22.astaro.com' access time: 889ms"
    2012:10:31-11:07:54 server 'cffs23.astaro.com' access time: 749ms"
    2012:10:31-11:07:55 server 'cffs24.astaro.com' access time: 659ms"
    2012:10:31-11:07:55 server 'cffs25.astaro.com' access time: 610ms"
    2012:10:31-11:07:56 server 'cffs26.astaro.com' access time: 440ms"
  • 0 in reply to Alvin
    I am switching Back to Local Cache = Mem.


    Astaro:/home/login # cc set http sc_localdb mem
    0
    {
              'attrs' => [
                           'nodelist'
                         ],
              'fatal' => 1,
              'format' => 'Invalid node \'%s\'.',
              'function' => 'set',
              'msgtype' => 'NODE_INVALID',
              'name' => 'Invalid node \'http->sc_localdb\'.',
              'never_hide' => 0,
              'nodelist' => 'http->sc_localdb'
            }

    I know the above is a Typo, but I do not understand the output, can some linux guru confirm the above is Harmless.


    Astaro:/home/login # cc set http sc_local_db mem
    1

    @@ I do not recall seeing this "1" in the past, everything OK? @@

    Astaro:/home/login # /var/mdw//scripts//httpproxy restart
    :: Restarting httpproxy
    :: Stopping httpproxy                                                done
    :: Starting httpproxy                                                done
    Astaro:/home/login #

    @@ Looking good at this point, can see the WAN is downloading @@

    Really hope to see this supported in the GUI Soon.
  • 0
    Sigh - I am really lousy with command line.

    Astaro:/home/login # cc set http sc_localdb mem
    0
    {
              'attrs' => [
                           'nodelist'
                         ],
              'fatal' => 1,
              'format' => 'Invalid node \'%s\'.',
              'function' => 'set',
              'msgtype' => 'NODE_INVALID',
              'name' => 'Invalid node \'http->sc_localdb\'.',
              'never_hide' => 0,
              'nodelist' => 'http->sc_localdb'
            }

    Can I Assume Above is "Harmless"

    Guards:/home/login # cc set http sc_local_db mem
    1

    I dont recall seeing this 1 last time, can someone confirm it is OK?
    Guards:/home/login # /var/mdw//scripts//httpproxy restart
    :: Restarting httpproxy
    :: Stopping httpproxy                                                done
    :: Starting httpproxy                                                done
    Guards:/home/login #

    So Far Looking good - downloading the database but still need to verify the above as I am Zero On Linux.
  • 0
    Hello,


    @Alvin:

    1) the returning "1" is correct iirc.
    2) where did you get the access times to cffs*?


    i also have enabled mem webfilter db on our UTM 220 running v9. The ram usage has gone up from 40% to 60% but the swap usage keeps growing.

    Should i be concerned about performance?


    -sd
  • 0 in reply to sdengscherz
    Hi

    You can get the Timings to CFFs via the Live Logs under Web Protection.

    Open the Live Logs.

    Disable HTTP Proxy - Enable HTTP Proxy.
  • 0
    I have 3GB RAM (02 x 1GB and 02 x 512MB) on my HP ML110

    - For enabling this Local Content Cache = Mem
    - My RAM Utilization goes from ~55% to 72%

    - With regards to SWAP - My personal experience is with and without this Local Cache = Mem, the Swap simply grows steadily ( I do not understand, I still have more than 25% RAM for it to use but the Swap Grows Steadily)

    - I simply Restart the entire box on a Monthly Basis ( I wont say I can Feel the slowness thus I restart But it irritates me to see SWAP Usage when there is Sufficient RAM - cool to feel all is running from RAM right? )

    - IDS/IPS - STOP and START will Release a lot of that SWAP if you do not want to Restart entire system ( I personally simply rather restart entire system)
  • 0
    IPS has a serious memory leak as does the http proxy.  if you want to save ram use the disk db option instead of ram.  The cff servers routinely have high pings and result in slow access and roundtrip times.  However you shouldn't need 4+ gigs of ram to run 5 users behind utm9 with http local db AND ips running.
  • 0
    While we have a 64bit Kernel available for UTM, for compatibility reasons and porting efforts, all userspace programs are still 32bit at the moment. That means not a single program (e.g. proxy) is able to access more than 4GB, but in sum more than 4GB could be used.

    50% swap usage is *no* problem if there still is *free RAM* available. That swapped stuff is accessed very rarely (if at all) and therefore has been swapped 'out if the way'. That's a good thing!

    I can confirm UTM has growing swap usage for several days, but at some point the curve becomes more and more flat. This behaviour is the same with other OSes having high uptimes and is no problem at all.

    Attached memory usage of my Home-ASG (ASG120 rev.4 upgraded to 2GB RAM & SSD with sc_local_db = disk):


    The drops are because of reboots or firmware U2D installs. Give it 2-3 weeks to settle down.
  • 0
    If you use the db = mem, do you need to reload the db frequently for updating ? or do that the UTM automatically?