Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 13 replies
  • Subscribers 0 subscribers
  • Views 3401 views
  • Users 0 members are here
Options
Suggested

[8.164][BUG][FIXED] root is almost filled up!

wingman
Hi ALL

Suddently today I've noticed that root is 85% full! (pic attached)

checking the logs

*****:/ # df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda6              5542276   4449128    811612  85% /
tmpfs                  2024424        80   2024344   1% /dev
tmpfs                  2024424         0   2024424   0% /dev/shm
/dev/sda1               350018     19294    312653   6% /boot
/dev/sda5             58137528   5059464  49977120  10% /var/storage
/dev/sda7             76179708    472772  71643700   1% /var/log
/dev/sda8              3391744     79392   3140060   3% /tmp
tmpfs                  2024424        36   2024388   1% /var/storage/chroot-smtp/tmp/ram



I think that I've found the cause


***** :/var # du -sh * | sort
....
11M     lib
128K    run
148K    notification
16M     confd
2.5M    geoip
284M    log
324K    cache
400M    sec
4.0K    crash
4.0K    opt
4.0K    X11R6
452K    spool
4.7G    storage
480M    pattern
508K    aua
696K    mdw
72K     adm
76K     up2date
8.0K    lock
8.0K    tmp
***** :/var # cd storage
***** :/var/storage # storage
-bash: storage: command not found
***** :/var/storage # du -sh * | sort
...
16K     agent
16K     lost+found
29M     chroot-reverseproxy
34M     chroot-smtp
4.0G    cores
4.0M    chroot-ftp
493M    chroot-http
64M     pgsql
84M     chroot-pop3
***** :/var/storage # cd cores
***** :/var/storage/cores # du -sh * | sort
1.1M    syslog-ng.6035
18M     pluto.20271
18M     pluto.4379
18M     pluto.7279
18M     pluto.7297
18M     pluto.7324
2.0M    httpd.17050
2.0M    httpd.9066
2.0M    httpd.9123
2.1M    httpd.3003
2.2M    httpd.14064
5.0M    ctasd.6099
5.0M    ctasd.6106
5.0M    ctasd.6130
5.0M    ctasd.6143
5.0M    ctasd.6171
664K    syslog-ng.24400
672K    syslog-ng.5986
676K    syslog-ng.7947
748M    httpproxy.25113
758M    httpproxy.24807
800M    httpproxy.6197
803M    httpproxy.6179
821M    httpproxy.9225
848K    sockd.1724
848K    sockd.2107
848K    sockd.2828
848K    sockd.32210
848K    sockd.949
***** :/var/storage/cores #


I've removed ("rm" ) the relevant files ( sockd.2107 etc) but it's still 85%. Strange enough /dev has a lot of new files created on the 24th(attached)

it doesn't seem to be the log directory 

cd /var/log
du -k -s *|sort -n

biggest file is : 
106808  (kilobytes)
Thanks
  • 0 
    Astaro Beta Report

    --------------------------------

    Version: 8.164

    Type: BUG

    State: TESTED/FIXED

    Reporter: wingman+

    Contributor: BarryG

    MantisID: 18020

    Target version: 8.170

    Fixed in version: 8.170

    --------------------------------
  • 0
    it seems that syslog-ng is responsible for about 2G! After deleting the files the /root is back to 40%

    **** :/opt/syslog-ng/var # ls -la
    total 2731876
    drwxr-xr-x 3 root root      4096 2011-05-24 21:30 .
    drwxr-xr-x 9 root root      4096 2011-04-07 16:11 ..
    drwxr-xr-x 2 root root      4096 2011-05-25 20:28 run
    -rw------- 1 root root 400000314 2011-05-02 07:55 syslog-ng-00000.qf
    -rw------- 1 root root 368462251 2011-05-04 17:33 syslog-ng-00001.qf
    -rw------- 1 root root  34945982 2011-05-12 08:01 syslog-ng-00002.qf
    -rw------- 1 root root  77521428 2011-05-12 15:32 syslog-ng-00003.qf
    -rw------- 1 root root 265283176 2011-05-14 22:36 syslog-ng-00004.qf
    -rw------- 1 root root 367554343 2011-05-17 21:13 syslog-ng-00005.qf
    -rw------- 1 root root 244689950 2011-05-19 22:32 syslog-ng-00006.qf
    -rw------- 1 root root 330077511 2011-05-21 23:19 syslog-ng-00007.qf
    -rw------- 1 root root 254684906 2011-05-23 07:09 syslog-ng-00008.qf
    -rw------- 1 root root 101714807 2011-05-24 01:14 syslog-ng-00009.qf
    -rw------- 1 root root 126476730 2011-05-24 21:28 syslog-ng-00010.qf
    -rw------- 1 root root 223186206 2011-05-25 20:40 syslog-ng-00011.qf
    -rw-r--r-- 1 root root       119 2011-05-25 20:26 syslog-ng.persist
  • 0 in reply to wingman
    Had the same problem a couple of days ago, didn't have time to report it
  • 0
    Files in /dev will have the date of the last reboot.

    Do those syslog-ng file timestamps correspond with crashes or reboots?

    Barry
  • 0
    You are right Barry

    The dates do match. Have a look at the last reboots and the relevant times from post 3

    ****** :/dev # last -x|grep reboot
    reboot   system boot  2.6.32.31-37.g36 Thu May 26 10:24         (1+10:44)
    reboot   system boot  2.6.32.31-37.g36 Wed May 25 20:27         (2+00:40)
    reboot   system boot  2.6.32.31-37.g36 Tue May 24 21:29          (22:56)
    reboot   system boot  2.6.32.31-37.g36 Tue May 24 01:15         (1+19:10)
    reboot   system boot  2.6.32.31-37.g36 Mon May 23 07:11         (2+13:15)
    reboot   system boot  2.6.32.31-37.g36 Sat May 21 23:20         (3+21:06)
    reboot   system boot  2.6.32.31-37.g36 Thu May 19 22:33         (5+21:53)
    reboot   system boot  2.6.32.31-37.g36 Tue May 17 21:21         (7+23:05)
    reboot   system boot  2.6.32.31-37.g36 Sat May 14 22:37         (10+21:48)
    reboot   system boot  2.6.32.31-37.g36 Thu May 12 15:33         (13+04:53)
    reboot   system boot  2.6.32.31-37.g36 Sun May  8 17:34         (17+02:52)
    reboot   system boot  2.6.32.31-37.g36 Fri May  6 12:21         (19+08:05)
    reboot   system boot  2.6.32.31-37.g36 Fri May  6 08:13         (19+12:13)
    reboot   system boot  2.6.32.31-37.g36 Fri May  6 08:04         (19+12:22)
    reboot   system boot  2.6.32.31-37.g36 Wed May  4 22:26         (20+22:00)
    reboot   system boot  2.6.32.31-37.g36 Wed May  4 17:32          (04:53)
    reboot   system boot  2.6.32.31-37.g36 Wed May  4 04:55          (17:29)
    reboot   system boot  2.6.32.31-37.g36 Wed May  4 00:19          (22:05)
    reboot   system boot  2.6.32.31-37.g36 Mon May  2 08:00         (1+16:18)
    reboot   system boot  2.6.32.31-37.g36 Sun May  1 18:40         (2+05:37)
    reboot   system boot  2.6.32.31-14.gcc Sun Apr 24 22:52         (6+19:47)
    reboot   system boot  2.6.32.31-14.gcc Sun Apr 24 22:38          (00:10)
    reboot   system boot  2.6.32.31-14.gcc Sun Apr 24 22:19          (00:29)
    reboot   system boot  2.6.32.31-14.gcc Fri Apr 22 20:16         (2+02:33)
    reboot   system boot  2.6.32.28-33.g18 Fri Apr 22 19:25          (00:49)
    reboot   system boot  2.6.32.28-33.g18 Fri Apr 22 19:14          (01:00)
  • 0
    Were those reboots initiated by you, or system crashes?

    Barry
  • 0
    system crashes. It's the well known (bug) reboot issue. Maybe Kai will want to have a look at them as well?
  • 0
    I just has another reboot

    ****** :/root # last -x|grep reboot
    reboot   system boot  2.6.32.31-37.g36 Fri May 27 21:33          (00:03)

    and the relevant syslog

    *** :/opt/syslog-ng/var # ls -la
    total 344692
    drwxr-xr-x 3 root root      4096 2011-05-25 20:54 .
    drwxr-xr-x 9 root root      4096 2011-04-07 16:11 ..
    drwxr-xr-x 2 root root      4096 2011-05-27 21:33 run
    -rw------- 1 root root 126476730 2011-05-24 21:28 syslog-ng-00010.qf
    -rw------- 1 root root 226110994 2011-05-27 21:36 syslog-ng-00011.qf
  • 0
    Those queue files are written when the syslog-ng is not able to send it's logs to the LM cloud server. Do you have connectivity issues or a clogged uplink?

    Regardless, those files should never grow larger than 400MB in total, this is definitely a bug. We'll investigate that.
    Thanks for the report!
     Andreas
  • 0
    Thanks Andreas. I had the random reboot so not sure if that's related or not. For the past 2 days the connection is stable (no more random reboots [;)] ) and I can see the files below

    *** :/opt/syslog-ng/var # ls -la
    total 869680
    drwxr-xr-x 3 root root      4096 2011-05-28 20:42 .
    drwxr-xr-x 9 root root      4096 2011-04-07 16:11 ..
    drwxr-xr-x 2 root root      4096 2011-05-31 19:29 run
    -rw------- 1 root root 140220844 2011-05-28 20:24 syslog-ng-00000.qf
    -rw------- 1 root root  16823575 2011-05-28 20:40 syslog-ng-00001.qf
    -rw------- 1 root root 400000472 2011-06-03 17:16 syslog-ng-00002.qf
    -rw------- 1 root root 126476730 2011-05-24 21:28 syslog-ng-00010.qf
    -rw------- 1 root root 206099018 2011-05-27 22:18 syslog-ng-00011.qf
    -rw-r--r-- 1 root root       119 2011-05-31 19:28 syslog-ng.persist
Unfiltered HTML