Guest User!

You are not Sophos Staff.

[8.174][INFO][NONE] HTTP Proxy Memory Usage

Since the release date is coming up soon, I just wanted to give the developers a heads up on http proxy memory usage. The proxy is using about 1gb ram (RES) after a couple of days under light usage. I am using local content database which is adding about 250MB to the memory usage. But even then, 2GB ram is not enough in my opinion to run astaro for 3 users. 

I understand that with the addition of L7 filtration, the proxy memory usage has increased but this will cause problems on smaller appliances under heavy loads in the future and the minimum requirement probably should be bumped up to 4GB.

Screenshots:
1. Initial memory usage after 8.173 clean install.
2. 8.174 Memory usage after 2 days.
3. 8.174 memory usage after proxy restart.

Regards
Bill.

P.S. Had to restart the proxy because it had become very slow. I will monitor that more closely. It would have been nice to see the access time to troubleshoot but its gone [;)]
Parents
  • and yes you can multiple vcpu's on a vm in exsi...i did it for a while..[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • I'm back.... my conclusion is that this is related to having the DB in memory.  When I use Disk or None my swap doesn't continually increase.  Right now I have been running the DB in memory and swap is increasing by about 1% a day... so far it is at 7% (7 days running) and growing.  I'm going to leave it as long as I can to see if it keeps this pace.  I have 3 GB memory in my ASG and I would thing that should be enough for the proxy, IPS, and Application control... when the DB is not in memory I have lots of memory to spare.


    Paul
  •  I have 3 GB memory in my ASG and I would think that should be enough for ...


    I've heard that some years ago. Back then some guy (don't remember his name) came up with the idea that "640K should be enough for everyone".

    Let me tell you a little secret from the development department: The "local content filter db" feature has been implemented to solve the problem one (yes, exactly one) of our customers experienced. His problem was, that the categorization for the webtraffic of his ~30000 client PCs/employees in that installation took to long, because of latency issues (latency of the categorization, of course - ie. connecting to the servers and waiting for a reply).

    Conclusion: Unless you drive a network with that much users, just turn that feature off.
  • kbr, I have one customer who is "smaller" (well, much smaller) than the corp. you talk about above, but due to ISP latency issues, categorization was unusable, and the ISP is not likely to help... the local content filter DB "Saved our Bacon" (to use an American Colloquialism) ... without it we would've had one mean customer on our hands.  I hope they are still planning, at some point, to make that an official feature -- I have noted it does improve performance even on links that have a lower latency to the categorization servers.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • .... my conclusion is that this is related to having the DB in memory.l

    Agreed!
    ...Conclusion: Unless you drive a network with that much users, just turn that feature off...

    I will have to disagree with you on this kai. There is a noticeable improvement on the proxy response when running the local db even from the disk. I have a fairly decent connection and have never had any complaints about the latency but when I enable local content db, the pages load almost as if there is no proxy involved at all.
    ...I have noted it does improve performance even on links that have a lower latency to the categorization servers...

    Bruce has it right. This feature shouldn't be swept under the rug by rationalizing that it will not be utilized or only the companies with huge user base will cause latency. I don't know about Europe but here in the US, there are plenty of crappy high speed connections being utilized for cost cutting measures. Every little bit helps and more choice is never a bad thing. If someone doesn't want to run the local db it should be their choice specially for something that astaro is already capable of doing. You guys have to be proactive on this just like the L7 categorization. Offer the service and let the customer decide.

    Regards
    Bill
  • Hey Bruce,

    ... I hope they are still planning, at some point, to make that an official feature ...


    Since the feature requires an extra amount of memory, we will probably have to build some kind of threshold-check into the ASG first, so you can only enable it when you have at least N Gigabytes of RAM in your box. We still have a whole lot of 512K and 1GB boxes out there that aren't capable of handling that extra load.

    The feature will stay in the ASG, but please don't hold your breath while waiting for a button in the webadmin [;)]

    Cheers,
    Kai
Reply
  • Hey Bruce,

    ... I hope they are still planning, at some point, to make that an official feature ...


    Since the feature requires an extra amount of memory, we will probably have to build some kind of threshold-check into the ASG first, so you can only enable it when you have at least N Gigabytes of RAM in your box. We still have a whole lot of 512K and 1GB boxes out there that aren't capable of handling that extra load.

    The feature will stay in the ASG, but please don't hold your breath while waiting for a button in the webadmin [;)]

    Cheers,
    Kai
Children
No Data