logdisk filling up 100%

Google site:astaro.org log disk filling up

Cheers - Bob

Google site:astaro.org log disk filling up

Cheers - Bob

,
,
thanks for the search tip, but not really all that useful for me contains alot of old versions info utm 7 and 8 and some bugs relating to 9 that are probably fixed.  

The most useful thing i could glean which had worked for me in the past was the deleting /var/storage/cores, but this time that directory is empty.

So please if you have more information as to why utm 9 is sending me tons of email about/and is stuck at 96% disk space even though i have it turn over logs at 90%

Threshold One
When usage reaches 90%

do this: delete oldest logs 


Threshold Two
When usage reaches 95%

do this: send notifcation


Threshold Three     
When usage reaches 95%

do this: Do nothing

Hi, probably your logs for TODAY are too big... take a look:

ls -lh /var/log/*.log

If something is very large, view it and try to see why.

Barry

nope nothing today seems to large

-rw-r--r-- 1 root log  194 Mar 25 13:05 /var/log/aua.log
-rw-r--r-- 1 root log    0 Mar 25 00:00 /var/log/boot.log
-rw-r--r-- 1 root log 3.4M Mar 25 15:17 /var/log/confd-debug.log
-rw-r--r-- 1 root log 5.7K Mar 25 14:17 /var/log/confd.log
-rw-r--r-- 1 root log 6.4K Mar 25 14:57 /var/log/fallback.log
-rw-r--r-- 1 root log  63K Mar 25 14:22 /var/log/httpd.log
-rw-r--r-- 1 root log    0 Mar 25 00:00 /var/log/http.log
-rw-r--r-- 1 root log 6.8M Mar 25 15:17 /var/log/ips.log
-rw-r--r-- 1 root log  177 Mar 25 04:07 /var/log/kernel.log
-rw-r--r-- 1 root log 1.1K Mar 25 00:00 /var/log/logging.log
-rw-r--r-- 1 root log  406 Mar 25 13:08 /var/log/login.log
-rw-r--r-- 1 root log 3.2K Mar 25 13:12 /var/log/mdw-debug.log
-rw-r--r-- 1 root log 2.0K Mar 25 13:12 /var/log/mdw.log
-rw-r--r-- 1 root log 9.9K Mar 25 15:17 /var/log/named.log
-rw-r--r-- 1 root log  15K Mar 25 14:54 /var/log/notifier.log
-rw-r--r-- 1 root log 1.7M Mar 25 15:18 /var/log/packetfilter.log
-rw-r--r-- 1 root log 124K Mar 25 15:17 /var/log/selfmon.log
-rw-r--r-- 1 root log 161K Mar 25 15:18 /var/log/smtp.log
-rw-r--r-- 1 root log  751 Mar 25 13:07 /var/log/sshd.log
-rw-r--r-- 1 root log  70K Mar 25 15:17 /var/log/system.log
-rw-r--r-- 1 root log    0 Mar 25 00:00 /var/log/up2date.log
-rw-r--r-- 1 root log  41K Mar 25 14:32 /var/log/webadmin.log

Here is some additional infos 

 df -h 
 
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda6       5.4G  1.9G  3.3G  37% /
tmpfs           502M  200K  501M   1% /dev
tmpfs           502M     0  502M   0% /dev/shm
/dev/vda1       348M   30M  301M   9% /boot
/dev/vdc1        10G  1.1G  8.5G  12% /var/storage
/dev/vdb1        10G  9.1G  389M  96% /var/log
/dev/vda8       518M   24M  469M   5% /tmp
tmpfs           502M   20K  502M   1% /var/storage/chroot-smtp/tmp/ram

a du of the /var/log seems reporting is the culprit how do i deal with oversized reporting setup??


368K    ./confd-debug
20K     ./webadmin
24K     ./httpd
56K     ./smtp
20K     ./sshd
20K     ./mdw
20K     ./notifier
160K    ./fallback
20K     ./login
20K     ./logging
24K     ./named
200K    ./packetfilter
44K     ./mdw-debug
16K     ./http
16K     ./up2date
28K     ./selfmon
556K    ./system
20K     ./confd
8.9G    ./reporting
36K     ./boot
16K     ./lost+found
20K     ./kernel
20K     ./aua
772K    ./ips
8.9G    .

A du of the system root partion du -h --max-depth=1

space:/var/log # cd /
space:/ # du -h --max-depth=1
0       ./sys
16K     ./lost+found
110M    ./root
80K     ./opt
du: cannot access `./var/sec/chroot-pppoe/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-pppoe/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-pppoe/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-pppoe/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-ntp/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-ntp/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-ntp/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-ntp/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-pptpc/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-pptpc/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-pptpc/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-pptpc/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-openvpn/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-openvpn/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-openvpn/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-openvpn/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-snort-2931-01/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-snort-2931-01/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-snort-2931-01/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-snort-2931-01/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-dhcpc/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-dhcpc/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-dhcpc/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-dhcpc/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-snmp/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-snmp/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-snmp/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-snmp/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-dhcps/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-dhcps/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-dhcps/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-dhcps/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-ppp/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-ppp/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-ppp/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-ppp/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-ipsec/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-ipsec/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-ipsec/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-ipsec/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-pptp/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-pptp/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-pptp/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-pptp/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-httpd/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-httpd/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/sec/chroot-httpd/proc/22380/fd/4': No such file or directory
du: cannot access `./var/sec/chroot-httpd/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-ftp/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-ftp/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-ftp/proc/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-ftp/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-pop3/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-pop3/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-pop3/proc/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-pop3/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-clientlessvpn/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-clientlessvpn/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-clientlessvpn/proc/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-clientlessvpn/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-http/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-http/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-http/proc/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-http/proc/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-smtp/proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-smtp/proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./var/storage/chroot-smtp/proc/22380/fd/4': No such file or directory
du: cannot access `./var/storage/chroot-smtp/proc/22380/fdinfo/4': No such file or directory
11G     ./var
6.9M    ./bin
100K    ./tmp
578M    ./usr
70M     ./lib
4.0K    ./media
5.3M    ./sbin
8.0K    ./home
8.0K    ./mnt
200K    ./dev
du: cannot access `./proc/22380/task/22380/fd/4': No such file or directory
du: cannot access `./proc/22380/task/22380/fdinfo/4': No such file or directory
du: cannot access `./proc/22380/fd/4': No such file or directory
du: cannot access `./proc/22380/fdinfo/4': No such file or directory
0       ./proc
1.4M    ./doc
35M     ./etc
11M     ./boot
12G     .

Ok i have drilled down a bit more and seems it is the pgsql that is taking up all the sace in the reporting directory there is a bunch of these within a strangely numbered directory within pgsql

 6976      2691      pg_internal.init.10801  pg_internal.init.6642
16978      2692      pg_internal.init.10802  pg_internal.init.6643
16982      2693      pg_internal.init.10803  pg_internal.init.6660
16984      2696      pg_internal.init.10804  pg_internal.init.6665
16986      2699      pg_internal.init.10805  pg_internal.init.6667
16987      2701      pg_internal.init.10806  pg_internal.init.6672
16988      2702      pg_internal.init.10807  pg_internal.init.6674
16990      2703      pg_internal.init.10809  pg_internal.init.6675
16990_fsm  2704      pg_internal.init.10812  pg_internal.init.6680
16994      2753      pg_internal.init.10813  pg_internal.init.6710
17008      2753_fsm  pg_internal.init.10816  pg_internal.init.6728
17010      2753_vm   pg_internal.init.10817  pg_internal.init.6729
17020      2754      pg_internal.init.10818  pg_internal.init.6732
17022      2755      pg_internal.init.10819  pg_internal.init.6754
17026      2756      pg_internal.init.10825  pg_internal.init.6759
17038      2757      pg_internal.init.10826  pg_internal.init.6762
17040      2830      pg_internal.init.10827  pg_internal.init.6765
17044      2831      pg_internal.init.10828  pg_internal.init.6766
17057      2832      pg_internal.init.10829  pg_internal.init.6768
17059      2833      pg_internal.init.10830  pg_internal.init.6772
17063      2834      pg_internal.init.10832  pg_internal.init.6773
17074      2835      pg_internal.init.10834  pg_internal.init.6812
17076      2836      pg_internal.init.10835  pg_internal.init.6822
17080      2837      pg_internal.init.10838  pg_internal.init.6823
173265     2838      pg_internal.init.10839  pg_internal.init.6854
173266     2838_fsm  pg_internal.init.10840  pg_internal.init.6875
173267     2838_vm   pg_internal.init.10841  pg_internal.init.6878
174        2839      pg_internal.init.10842  pg_internal.init.6893
175        2840      pg_internal.init.10843  pg_internal.init.6899
182488     2840_fsm  pg_internal.init.10844  pg_internal.init.6900
182489     2840_vm   pg_internal.init.10845  pg_internal.init.6916
182490     2841      pg_internal.init.10846  pg_internal.init.6925
182491     3501      pg_internal.init.10847  pg_internal.init.6936
182492     3502      pg_internal.init.10849  pg_internal.init.7511
182493     3503      pg_internal.init.10851  pg_internal.init.7548
182494     3600      pg_internal.init.10852  pg_internal.init.7611
182495     3600_fsm  pg_internal.init.10855  pg_internal.init.7652
182496     3600_vm   pg_internal.init.10856  pg_internal.init.7673
182497     3601      pg_internal.init.10857  pg_internal.init.7674
182498     3601_fsm  pg_internal.init.10863  pg_internal.init.7676
182499     3601_vm   pg_internal.init.10864  pg_internal.init.7698
182500     3602      pg_internal.init.10865  pg_internal.init.7724
182501     3602_fsm  pg_internal.init.10866  PG_VERSION

Good work!  When PostgreSQL gets hosed, there's only one thing you can do:

# /etc/init.d/postgresql rebuild

EDIT 2016-07-12 BAlfson: IN newer versions, the command is /etc/init.d/postgresql92 rebuild

Also, the Intrusion Prevention (ips) log is too big.  I suspect that you have an incorrect, possibly just incomplete, configuration.

Cheers - Bob

Than\ks bob i did the /etc/init.d/postgres rebuild but still have a full disk does it ta\ke some time or should i delete whats in the pgsql directory? or do i just need to give the system some time to clear things out
,
,  Also im unclear as to what you mean by incomplete or incorrect setup? does this have to do only with ips or the whole system? I do tend to turn virus protection off and on willy nilly sometimes 
,
anyhow is there some way i could chec\k for incorrect configurations? 

,

Hi,
I'm not certain, but you should be able to delete the postgres files, and then run the rebuild again.

Take a look at the IPS log to see what is getting blocked; if you have a lot of false positives, you can disable the rules (use the SID).

Barry

Than\ks again i was trying to run the rebuild script from within the weirdly numbered directory within /var/log/pgsql and it was not wor\king i switch to /var/log dir and the rebuild scripted wor\ked its magic also clearing out the /var/log/pgsql directory for me.

As for the ips log got a bunch of these in regards to my torrent box and i have already added an exception for this host 10.22.20.209 and intrusion prevention is chec\ked off. From the error i am unclear what type of attack utm 9 thin\ks this is or how to add an exception for
,l hell for all i know this is a legitimate attack but probably not.     

Edit exception list
Name:
Skip these checks:
* Intrusion Prevention
Portscan Protection
TCP SYN Flood Protection
UDP Flood Protection
ICMP Flood Protection
For all requests


Delete
Destinations:

pluto.solar.lan-10.22.20.209

 
,
,2013:03:25-18:41:44 space snort[4750]: id="2101" severity="warn" sys="SecureNet" sub="ips" name="Intrusion protection alert" action="drop" reason="PUA-P2P Bittorrent uTP peer request" group="500" srcip="10.22.20.209" dstip="194.106.194.126" proto="17" srcport="6881" dstport="21023" sid="16282" class="Potential Corporate Privacy Violation" priority="1" generator="1" msgid="0"

,
,        

Hi,
I'm not certain, but you should be able to delete the postgres files, and then run the rebuild again.

Take a look at the IPS log to see what is getting blocked; if you have a lot of false positives, you can disable the rules (use the SID).
ls
,
Barry

Hi,

For your exception to work, you need set the exception to include your p2p client for both SOURCE OR DEST.

However, I don't have an exception for any of my PCs, and I do use BT and eMule.

You do need to create an IPS rule modification, disabling SID 16282. 
(16282 is a POLICY to block P2P / BT, and is not an indication of an attack. Since you want P2P, you need to disable it.)

Keep an eye on the logs as there may be a couple more you'll need to disable.

Barry