[7.903][BUG][FIXED] System resources being hogged in active/active cluster config

Hi,

Since moving the platform to an active/active cluster config I'm noticing an ongoing daily increase in CPU utilisation and an interesting memory utilisation pattern.

Pic attached.

Cheers,

Darren
  • Hi Ulrich,

    Is there a way of 'toggling' between the master and slave nodes without having to go to the console itself (as both use the same IP address) ? i.e. a command via ssh?

    Cheers,

    Darren
  • Hi Darren,

    thanks for the output!
    Yes you can ssh to the slave via the master console: "ha_utils ssh"

    Regards
     Ulrich
  • Cluster has now been running for a few hours: memory and CPU utilisation on the master node has been slowly but constantly increasing and I've noticed these being reported in the kernel log:
    1=master, 3=slave node.

    2010:04:27-11:23:00 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
    2010:04:27-11:23:00 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
    2010:04:27-11:23:01 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
    2010:04:27-11:23:01 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
    2010:04:27-11:23:01 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
    2010:04:27-11:23:01 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
    2010:04:27-11:23:01 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
    2010:04:27-11:23:01 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
    2010:04:27-11:23:01 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
    2010:04:27-11:23:01 mercury-3 kernel: asg_cluster [WARN]: redirect buffer overflow!
  • Hi Darren,

    the "kernel: asg_cluster [WARN]: redirect buffer overflow!"
    messages should not occur anymore with the kernel I send you.

    About the CPU/memory consumption issue:
    If this happens again, please find out which process is consuming the cpu/memory...

    Best regards
     Ulrich
  • Hi Ulrich,

    Looks like the memory consumption is still continuing.  After applying the new files the system and rebooting the master node (1) dropped to 46.71% memory utilisation, currently sitting at 49.56% after 3 hours.

    Cheers,

    Darren
  • Darren,

    please login into the machine in try to find out which process is consuming CPU and memory. Otherwise we can't find the root cause.
  • Since there has been no more web traffic running through the proxy for about 4 hours, memory utilisation has returned to "normal" - it seems to have been cleared at 19.00 BST.  Earlier today I had several people running web traffic through it, during this time memory utilisation increased by 5% over the 60 minute test.
    CPU utilisation moved from 2% to around 24% with a peak at 66%.

    I'm not about tomorrow (Tues) but will take more readings on Wednesday.

    Cheers,

    Darren
  • The steady memory increase is probably caused by the leaking postgresql database synchronization,
    which will be fixed in next release (7.910).

    It's normal, that during http proxy utilization the memory consumption increases.

    Please wait for 7.910, upgrade and monitor again, if memory consumption still increases over time.