Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 4 replies
  • Subscribers 0 subscribers
  • Views 3514 views
  • Users 0 members are here
Options
Suggested

[9.091] [QUESTION] High CPU - syslog-ng

SirLurksalot
Hi everyone,

I’m pretty new to Astaro / UTM so I’m still getting used to how it all works (coming from a ClearOS environment) but so far I really like it!  I was using UTM 9 (latest version) on Esxi 5.1, on a machine with a dual-core 1.8GHz CPU, 4GB RAM, and three physical NICs.  I was very happy with the performance of UTM9 on this box -   CPU and memory usage were pretty low (about 25% CPU, and 15% memory).

I recently installed UTM 9.1 beta (version 9.091-5) on the same physical machine that my UTM9 install is on (running one of them at a time).  Once I installed UTM9.1, I restored a backup of my UTM9 config.  All worked as expected, except for one thing...

Almost immediately after installing, I noticed that my CPU was running at 95-98% all the time.  I tried shutting things off (logging, IPS, firewall) to see if I figure out what is hitting the CPU so hard but no luck.  I finally tracked it down to syslog-ng.  I'm not sure that syslog-ng is what is actually causing the problem, or if it's a symptom of another problem, but whatever it is, it's killing my CPU.

I did notice that in /var/log/system.log I was seeing the following logged about 16 times per second:  2013:04:18-00:04:18 firewall01 syslog-ng[23248]: POLLERR occurred while idle; fd='50'. (actually, the ‘50’ rotates between 50, 51, and 52)

I tried turning off system logging from within the web interface, but that did not help.

I was able to work around this issue for now by coping /etc/syslog-ng.conf-boot to syslog-ng.conf and then issuing an "/etc/init.d/syslogng restart" command which restarts syslog-ng using what I assume is the initial boot config for syslog-ng.  I think this pretty much disables logging as I don't see anything new in my logs, but it immediately brought my CPU use back down to about 15%.

I know this is not really a solution, and upon a reboot, the syslog-ng.conf gets overwritten so the high CPU issue starts back up again, but at least this temp change makes UTM9.1 usable for me.

Does anyone know what might be causing this issue and how to correct it? Is it a known bug?
Parents
  • 0
    Can you please have a look if this issue still occurs with the current version (9.092)?

    Maybe this is related to the segfault of websec reporter https://community.sophos.com/products/unified-threat-management/astaroorg/f/80/t/65047
  • 0 in reply to snowcrash_01
    Hi snowcrash,

    Thanks for responding.  I upgraded to 9.092 but unfortunately it didn't help.  [:(]

    Here are some additional lines from my system.log.  The first line is possibly of interest.  After that, it's just an endless stream of POLLERR's.

    [HTML]2013:04:19-06:13:12 firewall01 ulogd[3962]: SIGTERM received
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='41'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='40'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='56'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='56'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='60'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='58'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='62'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='58'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='63'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='64'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='63'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='61'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'[/HTML]

    Once I saw the ulogd sigterm message, I looked at my kernel.log and found a bunch of the following errors too:

    [HTML]2013:04:19-06:13:13 firewall01 kernel: [   68.849139] websec-reporter[4666]: segfault a
    t c ip 000000000806f4ad sp 00000000ffaf37d0 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.073208] websec-reporter[4711]: segfault a
    t c ip 000000000806f4ad sp 00000000ffe35e60 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.309712] websec-reporter[4719]: segfault a
    t c ip 000000000806f4ad sp 00000000ffc66060 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.367372] websec-reporter[4664]: segfault a
    t c ip 000000000806f4ad sp 00000000ffe58d60 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.540219] websec-reporter[4728]: segfault a
    t c ip 000000000806f4ad sp 00000000ffdb1e00 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.746015] websec-reporter[4740]: segfault a
    t c ip 000000000806f4ad sp 00000000ffb407b0 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:14 firewall01 kernel: [   69.918429] websec-reporter[4752]: segfault a
    t c ip 000000000806f4ad sp 00000000ffa90c30 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:14 firewall01 kernel: [   69.926274] websec-reporter[4731]: segfault a
    t c ip 000000000806f4ad sp 00000000ffcb61e0 error 4 in websec-reporter.pl[8048000+10730
    00]
    [/HTML]

    Looks to me like it could be related to the segfault of websec reporter, but I'm far from a Linux expert, so I'm unsure.

    Please let me know if you need any additional information.

    Thanks!
Reply
  • 0 in reply to snowcrash_01
    Hi snowcrash,

    Thanks for responding.  I upgraded to 9.092 but unfortunately it didn't help.  [:(]

    Here are some additional lines from my system.log.  The first line is possibly of interest.  After that, it's just an endless stream of POLLERR's.

    [HTML]2013:04:19-06:13:12 firewall01 ulogd[3962]: SIGTERM received
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='41'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='40'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='56'
    2013:04:19-06:13:13 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='56'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='60'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='58'
    2013:04:19-06:13:14 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='62'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='58'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='63'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='64'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='63'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='61'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:15 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='43'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='55'
    2013:04:19-06:13:16 firewall01 syslog-ng[2977]: POLLERR occurred while idle; fd='57'[/HTML]

    Once I saw the ulogd sigterm message, I looked at my kernel.log and found a bunch of the following errors too:

    [HTML]2013:04:19-06:13:13 firewall01 kernel: [   68.849139] websec-reporter[4666]: segfault a
    t c ip 000000000806f4ad sp 00000000ffaf37d0 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.073208] websec-reporter[4711]: segfault a
    t c ip 000000000806f4ad sp 00000000ffe35e60 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.309712] websec-reporter[4719]: segfault a
    t c ip 000000000806f4ad sp 00000000ffc66060 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.367372] websec-reporter[4664]: segfault a
    t c ip 000000000806f4ad sp 00000000ffe58d60 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.540219] websec-reporter[4728]: segfault a
    t c ip 000000000806f4ad sp 00000000ffdb1e00 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:13 firewall01 kernel: [   69.746015] websec-reporter[4740]: segfault a
    t c ip 000000000806f4ad sp 00000000ffb407b0 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:14 firewall01 kernel: [   69.918429] websec-reporter[4752]: segfault a
    t c ip 000000000806f4ad sp 00000000ffa90c30 error 4 in websec-reporter.pl[8048000+10730
    00]
    2013:04:19-06:13:14 firewall01 kernel: [   69.926274] websec-reporter[4731]: segfault a
    t c ip 000000000806f4ad sp 00000000ffcb61e0 error 4 in websec-reporter.pl[8048000+10730
    00]
    [/HTML]

    Looks to me like it could be related to the segfault of websec reporter, but I'm far from a Linux expert, so I'm unsure.

    Please let me know if you need any additional information.

    Thanks!
Children
No Data
Share Feedback
×

Submitted a Tech Support Case lately from the Support Portal?