Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 18 replies
  • Subscribers 0 subscribers
  • Views 5760 views
  • Users 0 members are here
Options
Suggested

[8.930][BUG] Active / Active cluster

trixor
Hi All, 

First of all I'd like to take a moment and tell you guy's that I love the new features of Astaro beta v9, the html5 portal is brilliant! 

Oke, my problem: When I install 2 machine's and put them in an active / active cluster things start to go wrong. 

During the sync all goes well, but when they both become active one of the two machines always goes into kernel panic. I did a complete resinstallation and it didn't fix this issue. 

Setup: 

2 machines, 5 network adapters each, 768 ram each



Configuration:

[LIST=1]

  • 1 firewall rule
  • 1 masq rule
  • 1 DynDns update rule
  • Joined into a domain
[/LIST]



Problem: 

When both machine's are in sync and they become active, one of the machine's goes kernel panic. I've tried to reinstall that machine, join it in the cluster again, and now my other server goes kernel panic.



Messages:

[LIST=1]

  • Kernel panic-  not syncing: Fatal exception
  • Logs show problems with the database. It tells me that the database is dead! 
[/LIST]

Parents
  • 0
    HA Cluster log
    2012:04:14-18:34:54 snake-jailbird-2 postgres[7394]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8204]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8188]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8200]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8202]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8203]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:56 snake-jailbird-2 postgres[6572]: [2-1] ERROR:  deadlock detected at character 30
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-5]  Process 8090: drop schema "_asg_cluster" cascade; 
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-6] HINT:  See server log for query details.
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-7] CONTEXT:  SQL statement "SELECT last_value::int4 FROM _asg_cluster.sl_log_status"
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-8]  SQL statement "update accounting set raw_in_pktlen = raw_in_pktlen +  $1 , raw_in_pktcount = raw_in_pktcount +  $2 , raw_out_pktlen = raw_out_pktlen +  $3 , raw_out_pktcount = raw_out_pktcount +  $4 , flow_count = flow_count + 1 where logday =  $5  and srcip =  $6  and dstip =  $7  and l4_dport =  $8  and ip_protocol =  $9  and (srcid =  $10  or (srcid IS NULL and  $10  IS NULL)) and (dstid =  $11  or (dstid IS NULL and  $11  IS NULL)) and afc_proto =  $12 "
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-9]  PL/pgSQL function "ins_accounting" line 20 at SQL statement
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-10] STATEMENT:  select ins_accounting($1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-1] ERROR:  deadlock detected at character 30
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-2] DETAIL:  Process 8025 waits for AccessShareLock on relation 41997 of database 16700; blocked by process 8090.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-3]  Process 8090 waits for Acces***clusiveLock on relation 16947 of database 16700; blocked by process 6961.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-4]  Process 6961 waits for ShareLock on transaction 11642; blocked by process 8025.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-5]  Process 8025: select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-6]  Process 8090: drop schema "_asg_cluster" cascade; 
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-7]  Process 6961: select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-8] HINT:  See server log for query details.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-9] QUERY:  select last_value::int4 from _asg_cluster.sl_local_node_id
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-10] CONTEXT:  SQL statement "update websec_categories set name =  $1  where category =  $2 "
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-11]  PL/pgSQL function "upd_webseccat" line 2 at SQL statement
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-12] STATEMENT:  select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8168]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8222]: [2-1] ERROR:  schema "_asg_cluster" does not exist at character 30
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8222]: [2-2] STATEMENT:  select last_value::int4 from "_asg_cluster".sl_local_node_id
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-1] ERROR:  deadlock detected
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-2] DETAIL:  Process 8090 waits for Acces***clusiveLock on relation 16947 of database 16700; blocked by process 6961.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-3]  Process 6961 waits for ShareLock on transaction 11644; blocked by process 7292.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-4]  Process 7292 waits for AccessShareLock on relation 41997 of database 16700; blocked by process 8090.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-5]  Process 8090: drop schema "_asg_cluster" cascade; 
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-6]  Process 6961: select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-7]  Process 7292: select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-8] HINT:  See server log for query details.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-9] STATEMENT:  drop schema "_asg_cluster" cascade; 
    2012:04:14-18:34:58 snake-jailbird-2 postgres[8201]: [2-1] LOG:  could not send data to client: Broken pipe
    2012:04:14-18:34:58 snake-jailbird-2 postgres[8201]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:58 snake-jailbird-2 postgres[8222]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-1] ERROR:  deadlock detected at character 30
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-2] DETAIL:  Process 6961 waits for AccessShareLock on relation 42003 of database 16700; blocked by process 8225.
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-3]  Process 8225 waits for Acces***clusiveLock on relation 41997 of database 16700; blocked by process 6961.
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-4]  Process 6961: select upd_webseccat($1, $2)
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-5]  Process 8225: DROP SCHEMA IF EXISTS _asg_cluster CASCADE;
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-6] HINT:  See server log for query details.
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-7] QUERY:  SELECT last_value::int4 FROM _asg_cluster.sl_log_status
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-8] CONTEXT:  SQL statement "update websec_categories set name =  $1  where category =  $2 "
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-9]  PL/pgSQL function "upd_webseccat" line 2 at SQL statement
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-10] STATEMENT:  select upd_webseccat($1, $2)
    2012:04:14-18:34:59 snake-jailbird-2 postgres[8237]: [2-1] ERROR:  schema "_asg_cluster" does not exist at character 15
    2012:04:14-18:34:59 snake-jailbird-2 postgres[8237]: [2-2] STATEMENT:  select * from _asg_cluster.sl_trigger
    2012:04:14-18:35:01 snake-jailbird-2 /usr/sbin/cron[8248]: (root) CMD (   /usr/local/bin/reporter/system-reporter.pl)
    2012:04:14-18:35:06 snake-jailbird-2 postgres[8142]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:35:16 snake-jailbird-2 postgres[8329]: [2-1] ERROR:  schema "_asg_cluster" does not exist at character 30
    2012:04:14-18:35:16 snake-jailbird-2 postgres[8329]: [2-2] STATEMENT:  select last_value::int4 from "_asg_cluster".sl_local_node_id
    2012:04:14-18:35:26 snake-jailbird-2 postgres[8329]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:35:26 snake-jailbird-2 postgres[8356]: [2-1] ERROR:  schema "_asg_cluster" does not exist at character 30
    2012:04:14-18:35:26 snake-jailbird-2 postgres[8356]: [2-2] STATEMENT:  select last_value::int4 from "_asg_cluster".sl_local_node_id
Reply
  • 0
    HA Cluster log
    2012:04:14-18:34:54 snake-jailbird-2 postgres[7394]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8204]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8188]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8200]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8202]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:55 snake-jailbird-2 postgres[8203]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:56 snake-jailbird-2 postgres[6572]: [2-1] ERROR:  deadlock detected at character 30
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-5]  Process 8090: drop schema "_asg_cluster" cascade; 
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-6] HINT:  See server log for query details.
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-7] CONTEXT:  SQL statement "SELECT last_value::int4 FROM _asg_cluster.sl_log_status"
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-8]  SQL statement "update accounting set raw_in_pktlen = raw_in_pktlen +  $1 , raw_in_pktcount = raw_in_pktcount +  $2 , raw_out_pktlen = raw_out_pktlen +  $3 , raw_out_pktcount = raw_out_pktcount +  $4 , flow_count = flow_count + 1 where logday =  $5  and srcip =  $6  and dstip =  $7  and l4_dport =  $8  and ip_protocol =  $9  and (srcid =  $10  or (srcid IS NULL and  $10  IS NULL)) and (dstid =  $11  or (dstid IS NULL and  $11  IS NULL)) and afc_proto =  $12 "
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-9]  PL/pgSQL function "ins_accounting" line 20 at SQL statement
    2012:04:14-18:34:56 snake-jailbird-2 postgres[25411]: [2-10] STATEMENT:  select ins_accounting($1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-1] ERROR:  deadlock detected at character 30
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-2] DETAIL:  Process 8025 waits for AccessShareLock on relation 41997 of database 16700; blocked by process 8090.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-3]  Process 8090 waits for Acces***clusiveLock on relation 16947 of database 16700; blocked by process 6961.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-4]  Process 6961 waits for ShareLock on transaction 11642; blocked by process 8025.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-5]  Process 8025: select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-6]  Process 8090: drop schema "_asg_cluster" cascade; 
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-7]  Process 6961: select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-8] HINT:  See server log for query details.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-9] QUERY:  select last_value::int4 from _asg_cluster.sl_local_node_id
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-10] CONTEXT:  SQL statement "update websec_categories set name =  $1  where category =  $2 "
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-11]  PL/pgSQL function "upd_webseccat" line 2 at SQL statement
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8025]: [2-12] STATEMENT:  select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8168]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8222]: [2-1] ERROR:  schema "_asg_cluster" does not exist at character 30
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8222]: [2-2] STATEMENT:  select last_value::int4 from "_asg_cluster".sl_local_node_id
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-1] ERROR:  deadlock detected
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-2] DETAIL:  Process 8090 waits for Acces***clusiveLock on relation 16947 of database 16700; blocked by process 6961.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-3]  Process 6961 waits for ShareLock on transaction 11644; blocked by process 7292.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-4]  Process 7292 waits for AccessShareLock on relation 41997 of database 16700; blocked by process 8090.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-5]  Process 8090: drop schema "_asg_cluster" cascade; 
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-6]  Process 6961: select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-7]  Process 7292: select upd_webseccat($1, $2)
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-8] HINT:  See server log for query details.
    2012:04:14-18:34:57 snake-jailbird-2 postgres[8090]: [2-9] STATEMENT:  drop schema "_asg_cluster" cascade; 
    2012:04:14-18:34:58 snake-jailbird-2 postgres[8201]: [2-1] LOG:  could not send data to client: Broken pipe
    2012:04:14-18:34:58 snake-jailbird-2 postgres[8201]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:58 snake-jailbird-2 postgres[8222]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-1] ERROR:  deadlock detected at character 30
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-2] DETAIL:  Process 6961 waits for AccessShareLock on relation 42003 of database 16700; blocked by process 8225.
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-3]  Process 8225 waits for Acces***clusiveLock on relation 41997 of database 16700; blocked by process 6961.
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-4]  Process 6961: select upd_webseccat($1, $2)
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-5]  Process 8225: DROP SCHEMA IF EXISTS _asg_cluster CASCADE;
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-6] HINT:  See server log for query details.
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-7] QUERY:  SELECT last_value::int4 FROM _asg_cluster.sl_log_status
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-8] CONTEXT:  SQL statement "update websec_categories set name =  $1  where category =  $2 "
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-9]  PL/pgSQL function "upd_webseccat" line 2 at SQL statement
    2012:04:14-18:34:59 snake-jailbird-2 postgres[6961]: [2-10] STATEMENT:  select upd_webseccat($1, $2)
    2012:04:14-18:34:59 snake-jailbird-2 postgres[8237]: [2-1] ERROR:  schema "_asg_cluster" does not exist at character 15
    2012:04:14-18:34:59 snake-jailbird-2 postgres[8237]: [2-2] STATEMENT:  select * from _asg_cluster.sl_trigger
    2012:04:14-18:35:01 snake-jailbird-2 /usr/sbin/cron[8248]: (root) CMD (   /usr/local/bin/reporter/system-reporter.pl)
    2012:04:14-18:35:06 snake-jailbird-2 postgres[8142]: [2-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:35:16 snake-jailbird-2 postgres[8329]: [2-1] ERROR:  schema "_asg_cluster" does not exist at character 30
    2012:04:14-18:35:16 snake-jailbird-2 postgres[8329]: [2-2] STATEMENT:  select last_value::int4 from "_asg_cluster".sl_local_node_id
    2012:04:14-18:35:26 snake-jailbird-2 postgres[8329]: [3-1] LOG:  unexpected EOF on client connection
    2012:04:14-18:35:26 snake-jailbird-2 postgres[8356]: [2-1] ERROR:  schema "_asg_cluster" does not exist at character 30
    2012:04:14-18:35:26 snake-jailbird-2 postgres[8356]: [2-2] STATEMENT:  select last_value::int4 from "_asg_cluster".sl_local_node_id
Children
Unfiltered HTML