Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 7 replies
  • Subscribers 2 subscribers
  • Views 2039 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Too much memory for a single process:

William Warren
68068 kb for /usr/bin/perl /usr/local/bin/nacctdreport.pl --thismonth


However the system is not even swapping:
Memory Usage:
Maximum: 255956 kB Average: 165821 kB Current: 144464 kB

Swap Usage:
Maximum: 0 kB Average: 0 kB Current: 0 kB

CPU load spikes to like 100 during the calculations but that's ok.  With 512 megs of ram installed I am at a loss why 70 megs is triggering this event when the system is barely using everything installed.

I am wondering if the 2.4.x kernel bug is hitting..the one that does not allow file cache to be reclaimned?  The accounting continues onwards just this is a tab bit annoying..[:)]


This thread was automatically locked due to age.
Parents
  • 0
    The "Too much memory for a single process" error commonly happens when the daily log files that are being processed after midnight are too big. It is usually large packet filter logs,  kernel logs and HTTP proxy logs that causes this, since thy are generally the largest daily log files.

    Check on the daily file sizes of your log files. The packet filter log and the kernel log will store a line for every log dropped packet. On the ASL v4 that I am running, a great many packets are log dropped by default. By creating specific drop rules for the most repetetive traffic, the number of log entries can be reduced dramatically. I use the following filter rules for this:

    1  Any  Any  Broadcast32  Drop 
    2  { My_LANs }  { LAN-Drop } Internal_Interface__  Drop
    3  { My_LANs }  { LAN-Drop } Internal_Broadcast__  Drop
    4  DMZ_Network__  { LAN-Drop }  DMZ_Interface__  Drop
    5  DMZ_Network__ { LAN-Drop }  DMZ_Broadcast__  Drop

    where the  { My_LANs }  network group contains my Internal network, as well as several other subnets branching from it, plus the PPTP-Pool network.

    and  the  { LAN-Drop }  service group contains the following entries:

     { Microsoft-SQL }
    { netbios }
    Microsoft-SMB
    uPNP

    and the Broadcast32 entry is defined as:
    Address 255.255.255.255
    Netmask 255.255.255.255

    This dramatically reduces the daily packet filter and kernel logs, since most of the junk entries that are filling up the logs are caused by the continuous Netbios broadcasts coming from the Microsoft Windows machines on the Internal network.
  • 0 in reply to VelvetFog
    i gave you those entries remember??..  This is the accounting logs giving that error nightly upon processing hte monthly figures.
  • 0 in reply to William Warren
    Other than my suggestion above, you could also try removing some networks from your accounting reports, or using the simplified reports.

    How many GB are you pushing each day?

    Barry
  • 0 in reply to BarryG
    [ QUOTE ]
    Other than my suggestion above, you could also try removing some networks from your accounting reports, or using the simplified reports.

    How many GB are you pushing each day?

    Barry 

    [/ QUOTE ]
    Usually less than .5 gigs.  Here are the entries for this month:

    ::
    :: nacctdreport.pl (c) 2002 Tom Kistner 
    ::
    :: Start Date/Time -> 2005/06/01 00:00
    ::   End Date/Time -> 2005/06/30 23:59
    ::
    :: Networks: 192.168.0.21/255.255.255.255  192.168.0.24/255.255.255.255  192.168.0.22/255.255.255.255  192.168.0.201/255.255.255.255  192.168.0.200/255.255.255.255  192.168.0.20/255.255.255.255  
    ::
    ::
    ::  `-All queried networks  . . . . . . . . . . . . 100% (21625 MB)
    ::     |-192.168.0.20/255.255.255.255 . . . . . . .  46% (10151 MB)
    ::     |  |-incoming  . . . . . . . . . . . . . . .  39% (8570 MB)
    ::     |  |  |-tcp  . . . . . . . . . . . . . . . .  39% (8488 MB)
    ::     |  |  |  |-http  . . . . . . . . . . . . . .  15% (3251 MB)
    ::     |  |  |  |-ssh . . . . . . . . . . . . . . .   6% (1353 MB)
    ::     |  |  |  |-unknown (4161->6881/tcp)  . . . .   2% (615 MB)
    ::     |  |  |  |-unknown (11900->4900/tcp) . . . .   1% (303 MB)
    ::     |  |  |  |-unknown (8000->2840/tcp)  . . . .   0% (88 MB)
    ::     |  |  |  `-unknown (27024->4202/tcp) . . . .   0% (79 MB)
    ::     |  |  `-udp  . . . . . . . . . . . . . . . .   0% (79 MB)
    ::     |  |     |-unknown (21448->4377/udp) . . . .   0% (30 MB)
    ::     |  |     |-unknown (27015->7130/udp) . . . .   0% (18 MB)
    ::     |  |     |-domain  . . . . . . . . . . . . .   0% (13 MB)
    ::     |  |     |-unknown (14537->1955/udp) . . . .   0% (6912 kB)
    ::     |  |     |-unknown (27015->27005/udp)  . . .   0% (6672 kB)
    ::     |  |     |-unknown (27014->27009/udp)  . . .   0% (1413 kB)
    ::     |  |     |-unknown (14537->3334/udp) . . . .   0% (1006 kB)
    ::     |  |     `-unknown (6346->6881/udp)  . . . .   0% (698 kB)
    ::     |  `-outgoing  . . . . . . . . . . . . . . .   7% (1580 MB)
    ::     |     |-tcp  . . . . . . . . . . . . . . . .   7% (1543 MB)
    ::     |     |  |-http  . . . . . . . . . . . . . .   1% (313 MB)
    ::     |     |  |-ssh . . . . . . . . . . . . . . .   0% (84 MB)
    ::     |     |  |-unknown (6881->10478/tcp) . . . .   0% (22 MB)
    ::     |     |  |-https . . . . . . . . . . . . . .   0% (19 MB)
    ::     |     |  |-unknown (6881->4161/tcp)  . . . .   0% (16 MB)
    ::     |     |  `-unknown (6881->61424/tcp) . . . .   0% (15 MB)
    ::     |     |-udp  . . . . . . . . . . . . . . . .   0% (33 MB)
    ::     |     |  |-unknown (4377->21448/udp) . . . .   0% (16 MB)
    ::     |     |  |-unknown (27009->27014/udp)  . . .   0% (5314 kB)
    ::     |     |  |-unknown (27005->27015/udp)  . . .   0% (3639 kB)
    ::     |     |  |-unknown (7130->27015/udp) . . . .   0% (3128 kB)
    ::     |     |  |-domain  . . . . . . . . . . . . .   0% (1990 kB)
    ::     |     |  |-unknown (3334->14537/udp) . . . .   0% (961 kB)
    ::     |     |  |-unknown (1955->14537/udp) . . . .   0% (727 kB)
    ::     |     |  |-unknown (6881->6881/udp)  . . . .   0% (393 kB)
    ::     |     |  `-netbios-dgm . . . . . . . . . . .   0% (334 kB)
    ::     |     `-icmp . . . . . . . . . . . . . . . .   0% (3880 kB)
    ::     |-192.168.0.201/255.255.255.255  . . . . . .  46% (10149 MB)
    ::     |  |-outgoing  . . . . . . . . . . . . . . .  29% (6386 MB)
    ::     |  |  |-udp  . . . . . . . . . . . . . . . .  29% (6334 MB)
    ::     |  |  |  |-unknown (27015->27005/udp)  . . .  10% (2184 MB)
    ::     |  |  |  |-unknown (27015->43621/udp)  . . .   2% (629 MB)
    ::     |  |  |  |-unknown (27015->43622/udp)  . . .   1% (404 MB)
    ::     |  |  |  |-unknown (27015->7130/udp) . . . .   1% (269 MB)
    ::     |  |  |  |-unknown (27015->43620/udp)  . . .   0% (169 MB)
    ::     |  |  |  |-unknown (27015->27015/udp)  . . .   0% (72 MB)
    ::     |  |  |  |-unknown (27015->43675/udp)  . . .   0% (71 MB)
    ::     |  |  |  `-unknown (27015->50079/udp)  . . .   0% (49 MB)
    ::     |  |  `-tcp  . . . . . . . . . . . . . . . .   0% (50 MB)
    ::     |  |     |-webcache  . . . . . . . . . . . .   0% (13 MB)
    ::     |  |     |-unknown (34537->27030/tcp)  . . .   0% (7538 kB)
    ::     |  |     |-unknown (34557->27030/tcp)  . . .   0% (6503 kB)
    ::     |  |     |-http  . . . . . . . . . . . . . .   0% (5368 kB)
    ::     |  |     |-unknown (33113->27030/tcp)  . . .   0% (4231 kB)
    ::     |  |     |-unknown (34552->27030/tcp)  . . .   0% (3932 kB)
    ::     |  |     |-unknown (33150->27030/tcp)  . . .   0% (2856 kB)
    ::     |  |     |-unknown (33119->27030/tcp)  . . .   0% (1833 kB)
    ::     |  |     |-unknown (34562->27030/tcp)  . . .   0% (793 kB)
    ::     |  |     `-unknown (36343->27030/tcp)  . . .   0% (394 kB)
    ::     |  `-incoming  . . . . . . . . . . . . . . .  17% (3763 MB)
    ::     |     |-udp  . . . . . . . . . . . . . . . .  12% (2716 MB)
    ::     |     |  |-unknown (27005->27015/udp)  . . .   5% (1134 MB)
    ::     |     |  |-unknown (43621->27015/udp)  . . .   0% (163 MB)
    ::     |     |  |-unknown (43622->27015/udp)  . . .   0% (147 MB)
    ::     |     |  |-unknown (43620->27015/udp)  . . .   0% (68 MB)
    ::     |     |  |-unknown (43675->27015/udp)  . . .   0% (38 MB)
    ::     |     |  |-unknown (50430->27015/udp)  . . .   0% (28 MB)
    ::     |     |  `-unknown (7130->27015/udp) . . . .   0% (26 MB)
    ::     |     |-tcp  . . . . . . . . . . . . . . . .   4% (1045 MB)
    ::     |     |  |-unknown (27030->34557/tcp)  . . .   1% (262 MB)
    ::     |     |  |-unknown (27030->34537/tcp)  . . .   0% (174 MB)
    ::     |     |  |-http  . . . . . . . . . . . . . .   0% (145 MB)
    ::     |     |  |-unknown (27030->33113/tcp)  . . .   0% (129 MB)
    ::     |     |  |-unknown (27030->34552/tcp)  . . .   0% (108 MB)
    ::     |     |  |-unknown (27030->33150/tcp)  . . .   0% (80 MB)
    ::     |     |  |-unknown (27030->33119/tcp)  . . .   0% (61 MB)
    ::     |     |  |-unknown (27030->36343/tcp)  . . .   0% (12 MB)
    ::     |     |  `-unknown (27030->34567/tcp)  . . .   0% (8821 kB)
    ::     |     `-icmp . . . . . . . . . . . . . . . .   0% (2304 kB)
    ::     |-192.168.0.22/255.255.255.255 . . . . . . .   3% (721 MB)
    ::     |  |-incoming  . . . . . . . . . . . . . . .   3% (692 MB)
    ::     |  |  |-tcp  . . . . . . . . . . . . . . . .   3% (687 MB)
    ::     |  |  |  |-unknown (27030->1192/tcp) . . . .   0% (205 MB)
    ::     |  |  |  |-http  . . . . . . . . . . . . . .   0% (154 MB)
    ::     |  |  |  |-unknown (27030->1163/tcp) . . . .   0% (145 MB)
    ::     |  |  |  |-unknown (27030->1250/tcp) . . . .   0% (145 MB)
    ::     |  |  |  `-unknown (27030->1161/tcp) . . . .   0% (5605 kB)
    ::     |  |  `-udp  . . . . . . . . . . . . . . . .   0% (5460 kB)
    ::     |  |     |-unknown (27015->27005/udp)  . . .   0% (4285 kB)
    ::     |  |     |-domain  . . . . . . . . . . . . .   0% (519 kB)
    ::     |  |     |-unknown (27014->27009/udp)  . . .   0% (470 kB)
    ::     |  |     |-unknown (27015->1516/udp) . . . .   0% (92 kB)
    ::     |  |     `-bootps  . . . . . . . . . . . . .   0% (19 kB)
    ::     |  `-outgoing  . . . . . . . . . . . . . . .   0% (28 MB)
    ::     |     |-tcp  . . . . . . . . . . . . . . . .   0% (24 MB)
    ::     |     |  |-http  . . . . . . . . . . . . . .   0% (12 MB)
    ::     |     |  |-unknown (1192->27030/tcp) . . . .   0% (3779 kB)
    ::     |     |  |-unknown (1250->27030/tcp) . . . .   0% (2702 kB)
    ::     |     |  |-unknown (1163->27030/tcp) . . . .   0% (2698 kB)
    ::     |     |  |-https . . . . . . . . . . . . . .   0% (2398 kB)
    ::     |     |  `-unknown (1038->8000/tcp)  . . . .   0% (247 kB)
    ::     |     |-udp  . . . . . . . . . . . . . . . .   0% (4128 kB)
    ::     |     |  |-unknown (27005->27015/udp)  . . .   0% (2093 kB)
    ::     |     |  |-unknown (27009->27014/udp)  . . .   0% (1733 kB)
    ::     |     |  |-netbios-ns  . . . . . . . . . . .   0% (108 kB)
    ::     |     |  |-domain  . . . . . . . . . . . . .   0% (72 kB)
    ::     |     |  `-unknown (1516->27015/udp) . . . .   0% (36 kB)
    ::     |     `-icmp . . . . . . . . . . . . . . . .   0% (6461 Bytes)
    ::     |-192.168.0.24/255.255.255.255 . . . . . . .   1% (387 MB)
    ::     |  |-incoming  . . . . . . . . . . . . . . .   1% (347 MB)
    ::     |  |  |-tcp  . . . . . . . . . . . . . . . .   1% (341 MB)
    ::     |  |  |  |-http  . . . . . . . . . . . . . .   1% (315 MB)
    ::     |  |  |  |-pop3  . . . . . . . . . . . . . .   0% (9943 kB)
    ::     |  |  |  |-https . . . . . . . . . . . . . .   0% (9530 kB)
    ::     |  |  |  |-unknown (27030->1099/tcp) . . . .   0% (4745 kB)
    ::     |  |  |  `-domain  . . . . . . . . . . . . .   0% (1441 kB)
    ::     |  |  |-udp  . . . . . . . . . . . . . . . .   0% (6099 kB)
    ::     |  |  |  |-unknown (27015->7130/udp) . . . .   0% (3593 kB)
    ::     |  |  |  |-domain  . . . . . . . . . . . . .   0% (2486 kB)
    ::     |  |  |  `-bootps  . . . . . . . . . . . . .   0% (16 kB)
    ::     |  |  `-icmp . . . . . . . . . . . . . . . .   0% (3974 Bytes)
    ::     |  `-outgoing  . . . . . . . . . . . . . . .   0% (39 MB)
    ::     |     |-tcp  . . . . . . . . . . . . . . . .   0% (38 MB)
    ::     |     |  |-http  . . . . . . . . . . . . . .   0% (34 MB)
    ::     |     |  |-https . . . . . . . . . . . . . .   0% (2279 kB)
    ::     |     |  |-pop3  . . . . . . . . . . . . . .   0% (1248 kB)
    ::     |     |  |-domain  . . . . . . . . . . . . .   0% (511 kB)
    ::     |     |  `-pop3s . . . . . . . . . . . . . .   0% (291 kB)
    ::     |     |-udp  . . . . . . . . . . . . . . . .   0% (877 kB)
    ::     |     |  |-unknown (7130->27015/udp) . . . .   0% (334 kB)
    ::     |     |  |-domain  . . . . . . . . . . . . .   0% (322 kB)
    ::     |     |  |-netbios-ns  . . . . . . . . . . .   0% (106 kB)
    ::     |     |  |-netbios-dgm . . . . . . . . . . .   0% (85 kB)
    ::     |     |  `-unknown (27009->27014/udp)  . . .   0% (8717 Bytes)
    ::     |     `-icmp . . . . . . . . . . . . . . . .   0% (605 Bytes)
    ::     `-192.168.0.200/255.255.255.255  . . . . . .   0% (188 MB)
    ::        |-incoming  . . . . . . . . . . . . . . .   0% (173 MB)
    ::        |  |-tcp  . . . . . . . . . . . . . . . .   0% (172 MB)
    ::        |  |  |-http  . . . . . . . . . . . . . .   0% (171 MB)
    ::        |  |  `-webcache  . . . . . . . . . . . .   0% (942 kB)
    ::        |  `-udp  . . . . . . . . . . . . . . . .   0% (1115 kB)
    ::        |     |-ntp . . . . . . . . . . . . . . .   0% (899 kB)
    ::        |     `-domain  . . . . . . . . . . . . .   0% (216 kB)
    ::        `-outgoing  . . . . . . . . . . . . . . .   0% (15 MB)
    ::           |-tcp  . . . . . . . . . . . . . . . .   0% (13 MB)
    ::           |  |-webcache  . . . . . . . . . . . .   0% (10209 kB)
    ::           |  |-http  . . . . . . . . . . . . . .   0% (3230 kB)
    ::           |  `-domain  . . . . . . . . . . . . .   0% (11 kB)
    ::           |-udp  . . . . . . . . . . . . . . . .   0% (2177 kB)
    ::           |  |-netbios-dgm . . . . . . . . . . .   0% (1179 kB)
    ::           |  |-ntp . . . . . . . . . . . . . . .   0% (899 kB)
    ::           |  |-domain  . . . . . . . . . . . . .   0% (51 kB)
    ::           |  |-netbios-ns  . . . . . . . . . . .   0% (45 kB)
    ::           |  `-unknown (32769->10000/udp)  . . .   0% (68 Bytes)
    ::           `-icmp . . . . . . . . . . . . . . . .   0% (844 Bytes)
    ::
    :: Notes:   - Percentage values refer to the parent nodes total byte sum,
    ::            NOT the absolute total.
    ::          - Byte sums for services below 1 percent of
    ::            the parent node are not shown, but accounted for in the
    ::            percentage values and absolute parent numbers.
    ::          - Traffic between all queried networks is IGNORED !
    ::
    ::
    ::
    :: Host Top 20 by total traffic
    ::
    ::    1.    192.168.0.20  10151 MB (192.168.0.20) 
    ::    2.   192.168.0.201  10149 MB (192.168.0.201) 
    ::    3.    192.168.0.22  721 MB (192.168.0.22) 
    ::    4.    192.168.0.24  387 MB (192.168.0.24) 
    ::    5.   192.168.0.200  188 MB (192.168.0.200) 
    ::    6.    192.168.0.21  27 MB (192.168.0.21) 
    ::

    I am not moving that much.  Frankly I would rather just turn these notifications off since the machine is not swapping..heck i am barely using 50% of my ram MAX.
    Maximum: 260363 kB Average: 190362 kB Current: 208072 kB

    If you want me to get the raw accounting logs..let me know where i can get them and i will attach them..[:)]
  • 0 in reply to William Warren
    Did you find the forum threads about changing the memory thresholds in the ASL selfmonitoring?
  • 0 in reply to William Warren
    [ QUOTE ]
    This is the accounting logs giving that error nightly upon processing hte monthly figures. 

    [/ QUOTE ]Of cause, nacctdreport.pl.  Silly of me, I missed that.

    Well, unless one looks regularly at the accounting stats, the accounting feature can easily be turned off from webadmin, and then the problem goes away. No more  CPU utilization spikes at 2 am on the ASL firewall, with a bunch of email messages in your inbox every morning to show for it.

    However, it is a bit disturbing that the nacctdreport.pl script should use so much RAM to do its thing. It is something that the Astaro programmers should look at. Changing the reporting threshold for the generation of the email warning messages is just a bandaid fix, and does not address the root of the problem, which is the nacctdreport.pl code itself.

    I see a lot of port 6881 entries in the log you published. You are running  a good amount of Bit Torrent traffic through your ASL box. Bit Torrents, because of the large volume of data being transmitted and received, and the large number of TCP connections maintained with other swarm members, puts an exceptionally high load on both the firewall and the broadband Internet connection.

    Bit Torrent technology was not around when Astaro first designed their Linux based firewall. But now they really need to allow for high performance full duplex Internet client software such as Bit Torrent clients. So here is my suggestion to Astaro's programmers: Test your product under full load from a Bit Torrent client. Run it non-stop for at least 10 weeks, so that you can accumulate several full monthly logs. I recommend the use of Azureus as the client, since it has tunable parameters and good logging features. Test not just your new version 6 beta this way, but also the older version 4 & 5. Fix the log processing scripts and error reporting tresholds so that none of the ASL versions will complain when exposed to steady Bit Torrent traffic, and put the fixes out in your upcoming patch releases.

    Personally, I only have accounting running on my DMZ network. This is just as well, since I have been running Bit Torrent traffic through my ASL v4 firewall from an Azureus client running on a WinXPpro machine on my Internal network 24x7 for the past 15 months. I am a movie collector, and I usually grab 5 - 10 feature films a week via Bit Torrent swarms.

    In my view, all versions of ASL should be able to handle this without complaining, with the accounting feature turned on.
Reply
  • 0 in reply to William Warren
    [ QUOTE ]
    This is the accounting logs giving that error nightly upon processing hte monthly figures. 

    [/ QUOTE ]Of cause, nacctdreport.pl.  Silly of me, I missed that.

    Well, unless one looks regularly at the accounting stats, the accounting feature can easily be turned off from webadmin, and then the problem goes away. No more  CPU utilization spikes at 2 am on the ASL firewall, with a bunch of email messages in your inbox every morning to show for it.

    However, it is a bit disturbing that the nacctdreport.pl script should use so much RAM to do its thing. It is something that the Astaro programmers should look at. Changing the reporting threshold for the generation of the email warning messages is just a bandaid fix, and does not address the root of the problem, which is the nacctdreport.pl code itself.

    I see a lot of port 6881 entries in the log you published. You are running  a good amount of Bit Torrent traffic through your ASL box. Bit Torrents, because of the large volume of data being transmitted and received, and the large number of TCP connections maintained with other swarm members, puts an exceptionally high load on both the firewall and the broadband Internet connection.

    Bit Torrent technology was not around when Astaro first designed their Linux based firewall. But now they really need to allow for high performance full duplex Internet client software such as Bit Torrent clients. So here is my suggestion to Astaro's programmers: Test your product under full load from a Bit Torrent client. Run it non-stop for at least 10 weeks, so that you can accumulate several full monthly logs. I recommend the use of Azureus as the client, since it has tunable parameters and good logging features. Test not just your new version 6 beta this way, but also the older version 4 & 5. Fix the log processing scripts and error reporting tresholds so that none of the ASL versions will complain when exposed to steady Bit Torrent traffic, and put the fixes out in your upcoming patch releases.

    Personally, I only have accounting running on my DMZ network. This is just as well, since I have been running Bit Torrent traffic through my ASL v4 firewall from an Azureus client running on a WinXPpro machine on my Internal network 24x7 for the past 15 months. I am a movie collector, and I usually grab 5 - 10 feature films a week via Bit Torrent swarms.

    In my view, all versions of ASL should be able to handle this without complaining, with the accounting feature turned on.
Children
No Data