High memory usage on ASG 8.1

If it does it again, take a look at the process list (under 'support', iirc), or just run 'top' and hit shift-M

Barry

Yesterday evening, around 6pm, the memory use on my new ASG 8.1 box started to increase steadily, eventually consuming all of the swap space and most of the RAM. This happened at a time when there were no live users on the LAN, the only activity being my bit torrent traffic, which involves seeding torrents at a steady outbound rate limited to 25 KBytes/sec, and participating in two DHT clouds on the net. I have IDS exceptions defined for that traffic.

I rebooted the ASG router, which brought the memory utilization back down, but I am very puzzled as to what could have caused this.

which features are you using?  How many users?  Full system stats please.  if you are doing lots of p2p that's going to increase your ram usage as every packet requires a bit of ram to process.  1 gig of ram really isn't sufficient for any ASG that's doing much of anything especially with the amount of logs the system has to process with high amounts of p2p going on.  If you are using software nics that also increases ram usage.  I would put two gigs of ram minimum while actually going for three would be better.

  If you are using software nics that also increases ram usage.  .

What is software nics ?
is it some thing like wlan0 ? when we configure wireless seperate zone 

thx

I have given some more thought to what I was doing Friday evening, from 6 PM onwards, that might have been a cause of this, and it was around then that I turned on one of the radio stations that are part of my ISP's IPTV service. I had guests over, and we listened to an IP streaming Classic Rock channel until around 2 am.

My Internet connection these days consist of a Cellpipe VDSL2 modem, followed by a Linksys 5-port 100BaseT switch, to which both the IPTV router (which distributes the multicast IP traffic to the set top boxes over the existing CATV coax lines in the walls) and my ASG router are connected. The WAN interface of the ASG is being hit regularly with both IGMP packets and with multicast IP traffic (addressed to 224.0.0.1) originating from my ISP's IPTV servers located on their in-house 10.254.125.00 network. So I have now added two rules:

1. An IPS exception to ignore all traffic from the 10.0.0.0/8 network

2. A packet filter rule at the top of the list to drop all packets addressed to 224.0.0.1.

I would also like to add a rule to drop all the IGMP packets hitting the WAN interface, but since that is a specific packet type, I don't know how to create it.


As for my nics, my LAN interface is the gigabit nic in the HP d530 machine I am using
[Broadcom Corporation NetXtreme BCM5782 Gigabit Ethernet]

And the WAN interface is a 3Com 3C905c
[3Com Corporation 3c905C-TX/TX-M [Tornado]]

These are both quality Ethernet transceiver implementations that do almost all the work in the hardware, not in the driver.

What is software nics ?
is it some thing like wlan0 ? when we configure wireless seperate zone 

thx

anything not intel, 3com, or broadcom.  Just about everything else is a win-nic..much like the win-modes.  The software nics require extra ram just to operate.

I have given some more thought to what I was doing Friday evening, from 6 PM onwards, that might have been a cause of this, and it was around then that I turned on one of the radio stations that are part of my ISP's IPTV service. I had guests over, and we listened to an IP streaming Classic Rock channel until around 2 am.

My Internet connection these days consist of a Cellpipe VDSL2 modem, followed by a Linksys 5-port 100BaseT switch, to which both the IPTV router (which distributes the multicast IP traffic to the set top boxes over the existing CATV coax lines in the walls) and my ASG router are connected. The WAN interface of the ASG is being hit regularly with both IGMP packets and with multicast IP traffic (addressed to 224.0.0.1) originating from my ISP's IPTV servers located on their in-house 10.254.125.00 network. So I have now added two rules:

1. An IPS exception to ignore all traffic from the 10.0.0.0/8 network

2. A packet filter rule at the top of the list to drop all packets addressed to 224.0.0.1.

I would also like to add a rule to drop all the IGMP packets hitting the WAN interface, but since that is a specific packet type, I don't know how to create it.


As for my nics, my LAN interface is the gigabit nic in the HP d530 machine I am using
[Broadcom Corporation NetXtreme BCM5782 Gigabit Ethernet]

And the WAN interface is a 3Com 3C905c
[3Com Corporation 3c905C-TX/TX-M [Tornado]]

These are both quality Ethernet transceiver implementations that do almost all the work in the hardware, not in the driver.

that's one way./..[:)]  however i would serious consider upgrading the ram to at least 2 gigs.

Putting more RAM in the ASG box is certainly prudent, but doing so won't help against a runaway RAM leak condition. My ASG box has millions of packets streaming through it every day, due to my bit torrent traffic. I originally switched from using a Linksys 4-port router to ASG v4 back in January 2003, in order to run bit torrent traffic without having router problems. I skipped ASG v5, then upgraded to ASG v6, which I ran for many years, since it was extremely stable. I ended up skipping ASG v7 as well, and now that I am on v8.1, it appears that it is the intrusion detection system that is causing the machine to being overloaded, unless the proper traffic exceptions are in place.  My new ASG 8.1 box, installed on Monday April 4th, has been running stable with a memory consumption of around 700 MB (48% of 1 GB RAM + 21% of 1 GB swap), except for the Friday night runaway RAM usage incident described in this thread.

well the runaway ram could simply be you have tons of logs that have to be processed and that's going to nail ram.  Astaro is also very swap heavy.  the swapiness level is set to 60 which means astaro is very aggressive about swapping.  However that won't help if you don't have enough ram in the box.  v8 specs the minimum at 1 gig..you REALLY need 2 or more in a high packet environment such as yours.  This isn't a memory leak..it's just that v8 uses more ram than v7.  Stick two or three gigs of ram in the machine and try again.  considering the amount of packets that have to be getting dropped(and logged) that's probably where your ram usage comes from.  Keep in mind..the more packets the more ram you need.  Also the more logs you are generating the more ram you need at log rotation time nightly.

My webadmin page does not time out and lock up reliably. Last Friday night, when the memory consumption kept increasing, the console was sitting unlocked all night displaying the Dashboard page. The memory consumption was on a steady increase again yesterday, for the same reason. When I manually logged off the webadmin late last night, just before going to bed late, at around 2 am, the memory usage immediately dropped.

When I looked at the memory usage chart this morning, and saw what had happened, I started wondering if it was the system's usage of several hundred MB of swap that kept the webadmin page from timing out and locking. So at 9 am this morning, I took my ASG box down, and added another 512 MB RAM to it. It now has 1.5 GB. 

But the webadmin page still does not time out and lock automatically, and when it sits open on a browser tab (on my primary Windows workstatation, I run Firefox with anywhere from 8 to 15 tabs open) the memory usage continues to grow over time.

Take a look at the chart:



The significant memory drops at 2 am and at 2:45 pm happened just after I manually logged off the webadmin page.
When the webadmin page is not logged into, the memory usage drops and flat-lines.

i'll take a gander at this myself.  I often leave my webadmin up for hours at a time too..but have not seen anything usual...maybe my high ram amounts are insulationg me fro it.