[9.060][CLOSED] Data partition filling up

Hi it seems that my storage partition is filling up pretty fast. The culprit seems to be the /var/storage/pgsql92/data/pg_xlog directory. I have very light load so such a large log directory seems out of the ordinary.
gatekeeper:/var/storage/pgsql92/data/pg_xlog # du -ch
12K     ./archive_status
2.6G    .
2.6G    total



The screenshots of my partition usage are attached below

Regards
Bill
Parents
  • That's the postgresql transaction log (also called WAL - write ahead log - in postgresql-speak). As we're now using the WAL-based streaming replication instead of the statement/trigger-based slony replication, we need to retain a certain amount of transaction log (currently up to 8GB). I might fine-tune that value in the near future, but 8GB shouldn't be a big deal even i you're using SSDs for your storage.
  • Hi folks,
    I am interested in what sort of activity on your UTM is causing these large files. My UTM are showing any signs of large use like yours.
    One is used by about 4 devices sometimes reasonably heavliy and the other is used by me for trying things out.
    I have IPv6 running on both, one as a sixxs tunnel and the other native.

    I have done a large number of wireless security changes tonight and not see data storage growth.

    Not been able to get very involved in this beta yet, end of athletics season and a nephews wedding where I play photographer.

    Ian
  • ..... I might fine-tune that value in the near future, but 8GB shouldn't be a big deal even i you're using SSDs for your storage....
    EEhhhh, the minimum requirment for astaro is 20GB storage (which I use for beta testing in vm). This is what my partitions look like
    gatekeeper:/var/log # df -h
    
    Filesystem      Size  Used Avail Use% Mounted on
    /dev/sda6       5.3G  1.9G  3.3G  37% /
    udev           1014M   76K 1014M   1% /dev
    tmpfs          1014M     0 1014M   0% /dev/shm
    /dev/sda1       339M   21M  302M   7% /boot
    /dev/sda5       4.7G  3.4G  1.1G  77% /var/storage
    /dev/sda7       6.2G  224M  5.6G   4% /var/log
    /dev/sda8       713M   29M  648M   5% /tmp
    tmpfs          1014M  4.9M 1009M   1% /var/storage/chroot-http/tmp
    tmpfs          1014M   52K 1014M   1% /var/storage/chroot-smtp/tmp/ram

    As you can see the storage partition is upto 77% usage and will probably run out of space soon.

    I am interested in what sort of activity on your UTM is causing these large files. ....end of athletics season and a nephews wedding where I play photographer....

    Just normal every day use nothing special. Congrats, I love being the wedding photographer although my pictures are not necessarily what you would call professional[:P]
    Regards
    Bill
  • Hi Bastian, long time no see[[[:)]]] Glad you are beta testing.


    Nice to see you, too [[[:)]]]

    Well, sort of beta testing. I saw there was a new beta available and gave it a chance...

    Don't really have time to do a close look on the new version. So I'll run it as my home firewall as usual and see what errors I get during daily use. And this database issue came up quite soon [[[:)]]]


    I don't think you can delete the log files manually. I have never used pgsql so I am not sure but most databases go crazy if you manually remove files without the db system being aware of it. So in other words, probably the database has to delete them somehow[:S]


    I know some databases like Microsoft Exchange, SQL, Oracle etc. With most of them, you can delete the transaction logs and would only need them in case of a restore...

    EEhhhh, the minimum requirment for astaro is 20GB storage (which I use for beta testing in vm). 


    Exactly. Astaro should update the requirements in that case. I even gave my virtual machine 40 GB and they were almost filled up, too...
  • Hi folks,
    my data partition is around 90gb, so I won't see the issue you are having.

    Ian[:)]
  • EEhhhh, the minimum requirment for astaro is 20GB storage (which I use for beta testing in vm). This is what my partitions look like



    Actually the minimum requirements for HDD space is 40Gb (as per the UTM9 release notes.

    Hence while we might tune the system a bit, and while you might be actually able to install on 20Gb disk, you should increase the space of your virtual machines to accommodate for us taking that into consideration as we design new features and re-work architecture of existing ones.
Reply
  • EEhhhh, the minimum requirment for astaro is 20GB storage (which I use for beta testing in vm). This is what my partitions look like



    Actually the minimum requirements for HDD space is 40Gb (as per the UTM9 release notes.

    Hence while we might tune the system a bit, and while you might be actually able to install on 20Gb disk, you should increase the space of your virtual machines to accommodate for us taking that into consideration as we design new features and re-work architecture of existing ones.
Children