Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 40 replies
  • Subscribers 0 subscribers
  • Views 26886 views
  • Users 0 members are here
Options
Suggested

[8.174][INFO][NONE] HTTP Proxy Memory Usage

Billybob
Since the release date is coming up soon, I just wanted to give the developers a heads up on http proxy memory usage. The proxy is using about 1gb ram (RES) after a couple of days under light usage. I am using local content database which is adding about 250MB to the memory usage. But even then, 2GB ram is not enough in my opinion to run astaro for 3 users. 

I understand that with the addition of L7 filtration, the proxy memory usage has increased but this will cause problems on smaller appliances under heavy loads in the future and the minimum requirement probably should be bumped up to 4GB.

Screenshots:
1. Initial memory usage after 8.173 clean install.
2. 8.174 Memory usage after 2 days.
3. 8.174 memory usage after proxy restart.

Regards
Bill.

P.S. Had to restart the proxy because it had become very slow. I will monitor that more closely. It would have been nice to see the access time to troubleshoot but its gone [;)]
Parents
  • 0
    and yes you can multiple vcpu's on a vm in exsi...i did it for a while..[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0 in reply to William Warren
    I'm back.... my conclusion is that this is related to having the DB in memory.  When I use Disk or None my swap doesn't continually increase.  Right now I have been running the DB in memory and swap is increasing by about 1% a day... so far it is at 7% (7 days running) and growing.  I'm going to leave it as long as I can to see if it keeps this pace.  I have 3 GB memory in my ASG and I would thing that should be enough for the proxy, IPS, and Application control... when the DB is not in memory I have lots of memory to spare.


    Paul
  • 0 in reply to PaulHolt
     I have 3 GB memory in my ASG and I would think that should be enough for ...


    I've heard that some years ago. Back then some guy (don't remember his name) came up with the idea that "640K should be enough for everyone".

    Let me tell you a little secret from the development department: The "local content filter db" feature has been implemented to solve the problem one (yes, exactly one) of our customers experienced. His problem was, that the categorization for the webtraffic of his ~30000 client PCs/employees in that installation took to long, because of latency issues (latency of the categorization, of course - ie. connecting to the servers and waiting for a reply).

    Conclusion: Unless you drive a network with that much users, just turn that feature off.
  • 0 in reply to kbr
    kbr, I have one customer who is "smaller" (well, much smaller) than the corp. you talk about above, but due to ISP latency issues, categorization was unusable, and the ISP is not likely to help... the local content filter DB "Saved our Bacon" (to use an American Colloquialism) ... without it we would've had one mean customer on our hands.  I hope they are still planning, at some point, to make that an official feature -- I have noted it does improve performance even on links that have a lower latency to the categorization servers.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

Reply
  • 0 in reply to kbr
    kbr, I have one customer who is "smaller" (well, much smaller) than the corp. you talk about above, but due to ISP latency issues, categorization was unusable, and the ISP is not likely to help... the local content filter DB "Saved our Bacon" (to use an American Colloquialism) ... without it we would've had one mean customer on our hands.  I hope they are still planning, at some point, to make that an official feature -- I have noted it does improve performance even on links that have a lower latency to the categorization servers.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

Children
  • 0 in reply to BrucekConvergent
    Hey Bruce,

    ... I hope they are still planning, at some point, to make that an official feature ...


    Since the feature requires an extra amount of memory, we will probably have to build some kind of threshold-check into the ASG first, so you can only enable it when you have at least N Gigabytes of RAM in your box. We still have a whole lot of 512K and 1GB boxes out there that aren't capable of handling that extra load.

    The feature will stay in the ASG, but please don't hold your breath while waiting for a button in the webadmin [;)]

    Cheers,
    Kai
Unfiltered HTML