[9.060][MYTH] Snort crash (out_of_memory)

i use 6GB of RAM per Astaro VM. That is working fine with most services set up in Astaro 9.1beta.

i use 6GB of RAM per Astaro VM. That is working fine with most services set up in Astaro 9.1beta.

that's fine as we are using virtual UTM but what about hardware appliance ? 

that's why i just wanted to know how to add more swap it will help me 

and now i understood ,after using/configuration of ipv6 (6to4) it use more memory 

edit:now i have remove all windows realated  pattern (just using 1 desktop and 1 server  infacet disconnected windows server )
thanks

Hello ,

Now i have reduce ips to below 12,000 and and still got out of memory 
disable endpoint also 

[HTML]  013:01:29-12:38:49 acenn kernel: [  194.577755] AVX instructions are not detected.
2013:01:29-14:03:19 acenn kernel: [ 5234.854116] kworker/0:1 invoked oom-killer: gfp_mask=0x200d2, order=0, oom_score_adj=0
2013:01:29-14:03:19 acenn kernel: [ 5234.854120] Pid: 13998, comm: kworker/0:1 Tainted: G           O 3.7.1-11.g7462ebd.rb2-smp64 #1
2013:01:29-14:03:19 acenn kernel: [ 5234.854122] Call Trace:
2013:01:29-14:03:19 acenn kernel: [ 5234.854129]  [] ? dump_header+0x67/0x190
2013:01:29-14:03:19 acenn kernel: [ 5234.854132]  [] ? delayacct_end+0x74/0x7f
2013:01:29-14:03:19 acenn kernel: [ 5234.854134]  [] ? get_page_from_freelist+0x696/0x6f0
2013:01:29-14:03:19 acenn kernel: [ 5234.854137]  [] ? oom_kill_process+0x74/0x300
2013:01:29-14:03:19 acenn kernel: [ 5234.854139]  [] ? oom_badness+0x93/0xf3
2013:01:29-14:03:19 acenn kernel: [ 5234.854141]  [] ? out_of_memory+0x2f1/0x328
2013:01:29-14:03:19 acenn kernel: [ 5234.854143]  [] ? __alloc_pages_nodemask+0x4cf/0x58a
2013:01:29-14:03:22 acenn kernel: [ 5234.854216]  [] ? vmballoon_work+0x171/0x4c9 [vmw_balloon]
2013:01:29-14:03:22 acenn kernel: [ 5234.854223]  [] ? process_one_work+0x1bb/0x284
2013:01:29-14:03:22 acenn kernel: [ 5234.854229]  [] ? vmballoon_debug_show+0xcc/0xcc [vmw_balloon]
2013:01:29-14:03:22 acenn kernel: [ 5234.854231]  [] ? worker_thread+0x14c/0x24d
2013:01:29-14:03:22 acenn kernel: [ 5234.854233]  [] ? manage_workers+0x272/0x272
2013:01:29-14:03:22 acenn kernel: [ 5234.854236]  [] ? kthread+0xad/0xb7
2013:01:29-14:03:22 acenn kernel: [ 5234.854238]  [] ? kthread_freezable_should_stop+0x51/0x51
2013:01:29-14:03:22 acenn kernel: [ 5234.854241]  [] ? ret_from_fork+0x7c/0xb0
2013:01:29-14:03:22 acenn kernel: [ 5234.854244]  [] ? kthread_freezable_should_stop+0x51/0x51
2013:01:29-14:03:22 acenn kernel: [ 5234.854245] Mem-Info:
2013:01:29-14:03:22 acenn kernel: [ 5234.854246] Node 0 DMA per-cpu:
2013:01:29-14:03:22 acenn kernel: [ 5234.854248] CPU    0: hi:    0, btch:   1 usd:   0
2013:01:29-14:03:22 acenn kernel: [ 5234.854249] Node 0 DMA32 per-cpu:
2013:01:29-14:03:22 acenn kernel: [ 5234.854251] CPU    0: hi:  186, btch:  31 usd:   0
2013:01:29-14:03:22 acenn kernel: [ 5234.854255] active_anon:188490 inactive_anon:63176 isolated_anon:2
2013:01:29-14:03:22 acenn kernel: [ 5234.854255]  active_file:59 inactive_file:499 isolated_file:502
2013:01:29-14:03:22 acenn kernel: [ 5234.854255]  unevictable:0 dirty:3 writeback:380 unstable:0
2013:01:29-14:03:22 acenn kernel: [ 5234.854255]  free:3231 slab_reclaimable:3574 slab_unreclaimable:4714
2013:01:29-14:03:22 acenn kernel: [ 5234.854255]  mapped:5335 shmem:7028 pagetables:2495 bounce:0
2013:01:29-14:03:22 acenn kernel: [ 5234.854255]  free_cma:0
2013:01:29-14:03:22 acenn kernel: [ 5234.854258] Node 0 DMA free:7452kB min:44kB low:52kB high:64kB active_anon:1456kB inactive_anon:1728kB active_file:12kB inactive_file:60kB unevictable:0kB isolated(anon):0kB isolated(file):24kB present:15652kB mlocked:0kB dirty:0kB writeback:4kB mapped:4kB shmem:8kB slab_reclaimable:0kB slab_unreclaimable:72kB kernel_stack:0kB pagetables:8kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:39809 all_unreclaimable? yes
2013:01:29-14:03:22 acenn kernel: [ 5234.854264] lowmem_reserve[]: 0 1854 1854 1854
2013:01:29-14:03:22 acenn kernel: [ 5234.854266] Node 0 DMA32 free:5472kB min:5484kB low:6852kB high:8224kB active_anon:752504kB inactive_anon:250976kB active_file:224kB inactive_file:1936kB unevictable:0kB isolated(anon):8kB isolated(file):1984kB present:1899008kB mlocked:0kB dirty:12kB writeback:1516kB mapped:21336kB shmem:28104kB slab_reclaimable:14296kB slab_unreclaimable:18784kB kernel_stack:3328kB pagetables:9972kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:133187 all_unreclaimable? yes
2013:01:29-14:03:22 acenn kernel: [ 5234.854272] lowmem_reserve[]: 0 0 0 0
2013:01:29-14:03:22 acenn kernel: [ 5234.854274] Node 0 DMA: 33*4kB 53*8kB 63*16kB 30*32kB 21*64kB 12*128kB 0*256kB 0*512kB 0*1024kB 1*2048kB 0*4096kB = 7452kB
2013:01:29-14:03:22 acenn kernel: [ 5234.854280] Node 0 DMA32: 514*4kB 225*8kB 5*16kB 2*32kB 1*64kB 1*128kB 1*256kB 0*512kB 1*1024kB 0*2048kB 0*4096kB = 5472kB
2013:01:29-14:03:22 acenn kernel: [ 5234.854286] 19957 total pagecache pages
2013:01:29-14:03:22 acenn kernel: [ 5234.854287] 11862 pages in swap cache
2013:01:29-14:03:22 acenn kernel: [ 5234.854289] Swap cache stats: add 435290, delete 423428, find 2091480/2106532
2013:01:29-14:03:22 acenn kernel: [ 5234.854290] Free swap  = 0kB
2013:01:29-14:03:22 acenn kernel: [ 5234.854291] Total swap = 1048572kB
2013:01:29-14:03:22 acenn kernel: [ 5234.860928] 486384 pages RAM
2013:01:29-14:03:22 acenn kernel: [ 5234.860984] 9285 pages reserved
2013:01:29-14:03:22 acenn kernel: [ 5234.860985] 329832 pages shared
2013:01:29-14:03:22 acenn kernel: [ 5234.860986] 456331 pages non-shared [/HTML]


thanks

that's fine as we are using virtual UTM but what about hardware appliance ? 

that's why i just wanted to know how to add more swap it will help me 

and now i understood ,after using/configuration of ipv6 (6to4) it use more memory 

edit:now i have remove all windows realated  pattern (just using 1 desktop and 1 server  infacet disconnected windows server )
thanks

swap does not help only ram...and of course code fixes form sophos which is part of the beta..[:)]

swap does not help only ram.....[:)]

i understood what you are saying (and always say) but i am trying to keep ram low for may reason one of them is we should do testing with considering ram on hardware appliance has  and even if we add more it doesnt happy  ....only you dont rune out_of_memrory problem crash 

but problem is still here

swap does not help only ram.....[:)]

i understood what you are saying (and always say) but i am trying to keep ram low for may reason one of them is we should do testing with considering ram on hardware appliance has  and even if we add more it doesnt happy  ....only you dont rune out_of_memrory problem crash 

but problem is still here

i understood what you are saying (and always say) but i am trying to keep ram low for may reason one of them is we should do testing with considering ram on hardware appliance has  and even if we add more it doesnt happy  ....only you dont rune out_of_memrory problem crash 

but problem is still here

Unless sophos can pull out some magic in terms of their code the system if you use more than one feature or more than 5-10 users(depending on traffic) 2 gigs will no longer work...that's been my point since v8's debut.

FYI 

when sysem was idle and ips are below 12,000 ,no ipv6 

[HTML] 2013:02:04-01:12:19 acenn kernel: [92496.108585] openvpn invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
2013:02:04-01:12:19 acenn kernel: [92496.108596] Pid: 4728, comm: openvpn Tainted: G           O 3.7.5-4.g8729af5-smp64 #1
2013:02:04-01:12:19 acenn kernel: [92496.108598] Call Trace:
2013:02:04-01:12:19 acenn kernel: [92496.108631]  [] ? dump_header+0x67/0x190
2013:02:04-01:12:19 acenn kernel: [92496.108650]  [] ? delayacct_end+0x74/0x7f
2013:02:04-01:12:19 acenn kernel: [92496.108655]  [] ? get_page_from_freelist+0x696/0x6f0
2013:02:04-01:12:19 acenn kernel: [92496.108657]  [] ? oom_kill_process+0x74/0x300
2013:02:04-01:12:19 acenn kernel: [92496.108660]  [] ? oom_badness+0x93/0xf3
2013:02:04-01:12:19 acenn kernel: [92496.108662]  [] ? out_of_memory+0x2f1/0x328
2013:02:04-01:12:19 acenn kernel: [92496.108665]  [] ? __alloc_pages_nodemask+0x4cf/0x58a
2013:02:04-01:12:22 acenn kernel: [92496.108667]  [] ? filemap_fault+0x23d/0x32a
2013:02:04-01:12:22 acenn kernel: [92496.108670]  [] ? __do_fault+0xa6/0x3c7
2013:02:04-01:12:22 acenn kernel: [92496.108673]  [] ? handle_pte_fault+0x30c/0x7b2
2013:02:04-01:12:22 acenn kernel: [92496.108680]  [] ? lock_hrtimer_base+0x1b/0x3c
2013:02:04-01:12:22 acenn kernel: [92496.108682]  [] ? hrtimer_try_to_cancel+0x62/0x6b
2013:02:04-01:12:22 acenn kernel: [92496.108693]  [] ? do_page_fault+0x417/0x43b
2013:02:04-01:12:22 acenn kernel: [92496.108706]  [] ? sys_epoll_wait+0x2e3/0x3a0
2013:02:04-01:12:22 acenn kernel: [92496.108710]  [] ? try_to_wake_up+0x19c/0x19c
2013:02:04-01:12:22 acenn kernel: [92496.108713]  [] ? timekeeping_get_ns+0x12/0x35
2013:02:04-01:12:22 acenn kernel: [92496.108716]  [] ? page_fault+0x28/0x30
2013:02:04-01:12:23 acenn kernel: [92496.108717] Mem-Info:
2013:02:04-01:12:23 acenn kernel: [92496.108719] Node 0 DMA per-cpu:
2013:02:04-01:12:23 acenn kernel: [92496.108723] CPU    0: hi:    0, btch:   1 usd:   0
2013:02:04-01:12:23 acenn kernel: [92496.108724] Node 0 DMA32 per-cpu:
2013:02:04-01:12:23 acenn kernel: [92496.108726] CPU    0: hi:  186, btch:  31 usd:  56
2013:02:04-01:12:23 acenn kernel: [92496.108730] active_anon:158138 inactive_anon:53181 isolated_anon:0
2013:02:04-01:12:23 acenn kernel: [92496.108730]  active_file:2000 inactive_file:2484 isolated_file:0
2013:02:04-01:12:23 acenn kernel: [92496.108730]  unevictable:0 dirty:0 writeback:0 unstable:0
2013:02:04-01:12:23 acenn kernel: [92496.108730]  free:3213 slab_reclaimable:4235 slab_unreclaimable:7232
2013:02:04-01:12:23 acenn kernel: [92496.108730]  mapped:11324 shmem:15160 pagetables:2494 bounce:0
2013:02:04-01:12:23 acenn kernel: [92496.108730]  free_cma:0
2013:02:04-01:12:23 acenn kernel: [92496.108734] Node 0 DMA free:7452kB min:44kB low:52kB high:64kB active_anon:1592kB inactive_anon:2352kB active_file:184kB inactive_file:200kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15652kB mlocked:0kB dirty:0kB writeback:0kB mapped:188kB shmem:0kB slab_reclaimable:624kB slab_unreclaimable:456kB kernel_stack:80kB pagetables:8kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:5787 all_unreclaimable? yes
2013:02:04-01:12:23 acenn kernel: [92496.108740] lowmem_reserve[]: 0 1854 1854 1854
2013:02:04-01:12:23 acenn kernel: [92496.108742] Node 0 DMA32 free:5400kB min:5484kB low:6852kB high:8224kB active_anon:630960kB inactive_anon:210372kB active_file:7816kB inactive_file:9736kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:1899008kB mlocked:0kB dirty:0kB writeback:0kB mapped:45108kB shmem:60640kB slab_reclaimable:16316kB slab_unreclaimable:28472kB kernel_stack:3128kB pagetables:9968kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:27165 all_unreclaimable? yes
2013:02:04-01:12:23 acenn kernel: [92496.108748] lowmem_reserve[]: 0 0 0 0
2013:02:04-01:12:23 acenn kernel: [92496.108750] Node 0 DMA: 4*4kB 12*8kB 43*16kB 32*32kB 10*64kB 9*128kB 3*256kB 2*512kB 0*1024kB 1*2048kB 0*4096kB = 7456kB
2013:02:04-01:12:23 acenn kernel: [92496.108758] Node 0 DMA32: 996*4kB 11*8kB 1*16kB 3*32kB 1*64kB 1*128kB 0*256kB 0*512kB 1*1024kB 0*2048kB 0*4096kB = 5400kB
2013:02:04-01:12:23 acenn kernel: [92496.108764] 27727 total pagecache pages
2013:02:04-01:12:23 acenn kernel: [92496.108766] 8059 pages in swap cache
2013:02:04-01:12:23 acenn kernel: [92496.108767] Swap cache stats: add 844771, delete 836712, find 27085096/27131643
2013:02:04-01:12:23 acenn kernel: [92496.108769] Free swap  = 0kB
2013:02:04-01:12:23 acenn kernel: [92496.108770] Total swap = 1048572kB
2013:02:04-01:12:23 acenn kernel: [92496.115117] 486384 pages RAM
2013:02:04-01:12:23 acenn kernel: [92496.115120] 9285 pages reserved
2013:02:04-01:12:23 acenn kernel: [92496.115121] 345308 pages shared
2013:02:04-01:12:23 acenn kernel: [92496.115122] 453491 pages non-shared  [/HTML]


thanks