Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 40 replies
  • Subscribers 0 subscribers
  • Views 26906 views
  • Users 0 members are here
Options
Suggested

[8.174][INFO][NONE] HTTP Proxy Memory Usage

Billybob
Since the release date is coming up soon, I just wanted to give the developers a heads up on http proxy memory usage. The proxy is using about 1gb ram (RES) after a couple of days under light usage. I am using local content database which is adding about 250MB to the memory usage. But even then, 2GB ram is not enough in my opinion to run astaro for 3 users. 

I understand that with the addition of L7 filtration, the proxy memory usage has increased but this will cause problems on smaller appliances under heavy loads in the future and the minimum requirement probably should be bumped up to 4GB.

Screenshots:
1. Initial memory usage after 8.173 clean install.
2. 8.174 Memory usage after 2 days.
3. 8.174 memory usage after proxy restart.

Regards
Bill.

P.S. Had to restart the proxy because it had become very slow. I will monitor that more closely. It would have been nice to see the access time to troubleshoot but its gone [;)]
  • 0
    not a hack which it technically still is

    to call it "a hack" is a little hard, don't you think?


    Let's split the difference.  By the magical Mod "powers" invested in me, I officially give it the title of "Technical Preview".  Go forth and enjoy.
    __________________
    ACE v8/SCA v9.3

    ...still have a v5 install disk in a box somewhere.

    http://xkcd.com
    http://www.tedgoff.com/mb
    http://www.projectcartoon.com/cartoon/1
  • 0 in reply to Scott_Klassen
    Over to Biilybob or wait until the weekend when I have better access to my ASG to fiddle and I will provide the statistics.

    Ian

    To start the ball rolling, swap is increasing slowly, while not much it is currently at 0.58% and growing. Now as I said not much, but for a system that didn't use swap except for very short occasions previously.
    4gb of ram, database in memory, uptime 10 days.
  • 0 in reply to RFCat_vk_01
     To start the ball rolling...


    We need a little more information than that: Which features do you have enabled? Fresh installation or upgrade? Line, Line Speed, number of interfaces and number of clients... you know, the whole stuff in a nice little pack [;)]
  • 0 in reply to kbr
    Hi kbr,
    fresh install and a 8.174 config installed.

    Rather than me trying to describe all the features would this be easier if I sent you a config file?

    Stuff the config file doesn't handle is
    1/. line speed about 4/1mbs
    2/. 14 active IP addresses (mix of IPV4 and IPv6)
    3/.AMD Athlon 64 X2 240e
    4/. SATA AHCI drive
    5/. 2 x 2gb of ram (800)
    6/.1 intel nic
    7/. 1 onboard nic (external interface)

    Other stuff 
    I have a lot of weekly reports from the beta which show swap memory growth
    2 real interfaces
    2 vlans
    1 wlan

    Ian
  • 0 in reply to RFCat_vk_01
    Rather than me trying to describe all the features would this be easier if I sent you a config file?


    I can't see how that would make anything easier (other than the simple fact that _i_ would have to describe all features instead of _you_). [;)]

    Just name the relevant settings from the proxy, we're trying to hunt down a perceived proxy problem after all...
  • 0
    2GB RAM.  Dual AV engine.  Primary WAN (Comcast) Cable 50/10, Secondary WAN (Frontier) 7.1/768 DSL.  10 internal endpoints, although usually only one active at a time.  Currently using Local Content DB in RAM mode.  You can see the point at which I last rebooted in the 1 August exec report graph.  This is an upgrade from RC.  Currently running 8.200 rev 2 (dated 27 July).
    __________________
    ACE v8/SCA v9.3

    ...still have a v5 install disk in a box somewhere.

    http://xkcd.com
    http://www.tedgoff.com/mb
    http://www.projectcartoon.com/cartoon/1
  • 0
    I need snapshots from 'top' too, so we can see how much of that RAM is dedicated to the HTTP-Proxy.

    Btw: I imply that you turned off the local content filter DB completely, otherwise we'd had to start over again...
  • 0 in reply to Billybob
    ...Since then, nobody cared enough to provide this information...

    Actually right after Sven's post, I had posted my findings on the first page of this thread. 
    I need snapshots from 'top' too, so we can see how much of that RAM is dedicated to the HTTP-Proxy.

    Again all that information is on the first page. You can look at both with database in memory and without memory. Its a difference of about 800mb RES and about 1.3gb VIRT but according to Sven, 
    ...The DB itself takes around ~300-400MB RES...

    So the unsupported feature is taking a lot more ram than predicted by the developer after just 2 days under light load.
    ..... We still have a whole lot of 512K and 1GB boxes out there that aren't capable of handling that extra load.
    The feature will stay in the ASG, but please don't hold your breath while waiting for a button in the webadmin...

    Again I concluded this on first page
    ....The difference in memory usage with local db in memory has increased drastically with 8.2 compared to the previous versions which is probably one of the reasons it was not included as a user configurable option via webadmin in this release...


    Please keep in mind, that we appreciate all the developers and people like Sven that take the time to interact with us are specially appreciated. I am sure he will find an answer to this unusually high ram usage when the db is in memory. Also, the memory usage keeps on increasing as observed by others also with the db in memory so it is the "Technical Preview" feature that is suffering in this release[:P]
    Regards
    Bill
  • 0 in reply to kbr
    Ouch. SvenS will not be amused to hear that, given the amount of work that he has put into it... I can see your point - even though, from a technical perspective, a feature doesn't necessarily need a webadmin button - and i even agree with you: a button somewhere beneath websecurity>>advanced would make sense. But to call it "a hack" is a little hard, don't you think?



    I'd really love to see that post. It's not that i don't believe you, it's just that i then can find out who at Astaro failed to yell loud enough to get that damned button in the webadmin.

    Cheers,
    Kai

    it's on the forums..but i'll get you an exact link..[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0 in reply to William Warren
    Do I still need to do the memory change and reporting function or did Billybob's results provide all the details?

    If still required the testing will be delayed a day because I have to interstate on Saturday.

    Ian
Unfiltered HTML