This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

HA syncing problem [8.001]

I have recently upgraded to the new licensing model and installed the 8.001version of the software appliance. As the new license allows the High Availability mode I installed an identical machine as a hot-spare.

When I open the HA live log I see the following:


2010:09:29-11:55:41 firewall-1 slon[10734]: [68223-1] CONFIG version for "dbname=pop3 host=198.19.250.2 user=ha_sync password=slony" is 80404
2010:09:29-11:55:41 firewall-1 slon[10734]: [68224-1] ERROR remoteListenThread_2: "select "_asg_cluster".registerNodeConnection(1); " - ERROR: schema "_asg_cluster" does not exist
2010:09:29-11:55:43 firewall-2 slon[24103]: [4-1] CONFIG slon: child terminated status: 0; pid: 24432, current worker pid: 24432
2010:09:29-11:55:43 firewall-2 slon[24103]: [5-1] CONFIG slon: restart of worker
2010:09:29-11:55:43 firewall-2 slon[24103]: [1-1] CONFIG main: slon version 2.0.3 starting up
2010:09:29-11:55:43 firewall-2 slon[24103]: [2-1] CONFIG slon: watchdog ready - pid = 24103
2010:09:29-11:55:43 firewall-2 slon[24103]: [3-1] CONFIG slon: worker process created - pid = 24441
2010:09:29-11:55:43 firewall-2 slon[24441]: [3-1] CONFIG main: Integer option vac_frequency = 3
2010:09:29-11:55:43 firewall-2 slon[24441]: [4-1] CONFIG main: Integer option log_level = -1
2010:09:29-11:55:43 firewall-2 slon[24441]: [5-1] CONFIG main: Integer option sync_interval = 2000
2010:09:29-11:55:43 firewall-2 slon[24441]: [6-1] CONFIG main: Integer option sync_interval_timeout = 10000
2010:09:29-11:55:43 firewall-2 slon[24441]: [7-1] CONFIG main: Integer option sync_group_maxsize = 20
2010:09:29-11:55:43 firewall-2 slon[24441]: [8-1] CONFIG main: Integer option desired_sync_time = 60000
2010:09:29-11:55:43 firewall-2 slon[24441]: [9-1] CONFIG main: Integer option syslog = 2
2010:09:29-11:55:43 firewall-2 slon[24441]: [10-1] CONFIG main: Integer option quit_sync_provider = 0
2010:09:29-11:55:43 firewall-2 slon[24441]: [11-1] CONFIG main: Integer option quit_sync_finalsync = 0
2010:09:29-11:55:43 firewall-2 slon[24441]: [12-1] CONFIG main: Integer option sync_max_rowsize = 8192
2010:09:29-11:55:43 firewall-2 slon[24441]: [13-1] CONFIG main: Integer option sync_max_largemem = 5242880
2010:09:29-11:55:43 firewall-2 slon[24441]: [14-1] CONFIG main: Integer option remote_listen_timeout = 300
2010:09:29-11:55:43 firewall-2 slon[24441]: [15-1] CONFIG main: Boolean option log_pid = 0
2010:09:29-11:55:43 firewall-2 slon[24441]: [16-1] CONFIG main: Boolean option log_timestamp = 0
2010:09:29-11:55:43 firewall-2 slon[24441]: [17-1] CONFIG main: Boolean option cleanup_deletelogs = 0
2010:09:29-11:55:43 firewall-2 slon[24441]: [18-1] CONFIG main: Real option real_placeholder = 0.000000
2010:09:29-11:55:43 firewall-2 slon[24441]: [19-1] CONFIG main: String option cluster_name = asg_cluster
2010:09:29-11:55:43 firewall-2 slon[24441]: [20-1] CONFIG main: String option conn_info = dbname=pop3 user=ha_sync
2010:09:29-11:55:43 firewall-2 slon[24441]: [21-1] CONFIG main: String option pid_file = [NULL]
2010:09:29-11:55:43 firewall-2 slon[24441]: [22-1] CONFIG main: String option log_timestamp_format = %Y-%m-%d %H:%M:%S %Z
2010:09:29-11:55:43 firewall-2 slon[24441]: [23-1] CONFIG main: String option archive_dir = [NULL]
2010:09:29-11:55:43 firewall-2 slon[24441]: [24-1] CONFIG main: String option sql_on_connection = [NULL]
2010:09:29-11:55:43 firewall-2 slon[24441]: [25-1] CONFIG main: String option lag_interval = [NULL]
2010:09:29-11:55:43 firewall-2 slon[24441]: [26-1] CONFIG main: String option command_on_logarchive = [NULL]
2010:09:29-11:55:43 firewall-2 slon[24441]: [27-1] CONFIG main: String option syslog_facility = LOG_DAEMON
2010:09:29-11:55:43 firewall-2 slon[24441]: [28-1] CONFIG main: String option syslog_ident = slon
2010:09:29-11:55:43 firewall-2 slon[24441]: [29-1] CONFIG main: String option cleanup_interval = 10 minutes
2010:09:29-11:55:43 firewall-2 slon[24441]: [30-1] ERROR cannot get sl_local_node_id - ERROR: schema "_asg_cluster" does not exist
2010:09:29-11:55:43 firewall-2 slon[24441]: [30-2] LINE 1: select last_value::int4 from "_asg_cluster".sl_local_node_id
2010:09:29-11:55:43 firewall-2 slon[24441]: [30-3] ^
2010:09:29-11:55:43 firewall-2 slon[24441]: [31-1] FATAL main: Node is not initialized properly - sleep 10s 


I read that this should get fixed automatically in 15 mins, but this doesn't seem to be the case as it has been generating the same error for over 2 hours.


This thread was automatically locked due to age.
Parents
  • It can sometimes take an overnight maintenance cycle to fully clear the DB errors.  If the system is otherwise functioning normally, please let it run overnight ans see what it looks like tomorrow morning.
  • I just logged in to the firewall again but I still see this message repeating over and over again:


    2010:09:30-06:41:48 firewall-1 slon[16596]: [8707-1] CONFIG version for "dbname=pop3 host=198.19.250.2 user=ha_sync password=slony" is 80404
    2010:09:30-06:41:48 firewall-1 slon[16596]: [8708-1] ERROR remoteListenThread_2: "select "_asg_cluster".registerNodeConnection(1); " - ERROR: schema "_asg_cluster" does not exist
    2010:09:30-06:41:55 firewall-2 slon[21400]: [4-1] CONFIG slon: child terminated status: 0; pid: 22333, current worker pid: 22333
    2010:09:30-06:41:55 firewall-2 slon[21400]: [5-1] CONFIG slon: restart of worker
    2010:09:30-06:41:55 firewall-2 slon[21400]: [1-1] CONFIG main: slon version 2.0.3 starting up
    2010:09:30-06:41:55 firewall-2 slon[21400]: [2-1] CONFIG slon: watchdog ready - pid = 21400
    2010:09:30-06:41:55 firewall-2 slon[21400]: [3-1] CONFIG slon: worker process created - pid = 22336
    2010:09:30-06:41:55 firewall-2 slon[22336]: [3-1] CONFIG main: Integer option vac_frequency = 3
    2010:09:30-06:41:55 firewall-2 slon[22336]: [4-1] CONFIG main: Integer option log_level = -1
    2010:09:30-06:41:55 firewall-2 slon[22336]: [5-1] CONFIG main: Integer option sync_interval = 2000
    2010:09:30-06:41:55 firewall-2 slon[22336]: [6-1] CONFIG main: Integer option sync_interval_timeout = 10000
    2010:09:30-06:41:55 firewall-2 slon[22336]: [7-1] CONFIG main: Integer option sync_group_maxsize = 20
    2010:09:30-06:41:55 firewall-2 slon[22336]: [8-1] CONFIG main: Integer option desired_sync_time = 60000
    2010:09:30-06:41:55 firewall-2 slon[22336]: [9-1] CONFIG main: Integer option syslog = 2
    2010:09:30-06:41:55 firewall-2 slon[22336]: [10-1] CONFIG main: Integer option quit_sync_provider = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [11-1] CONFIG main: Integer option quit_sync_finalsync = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [12-1] CONFIG main: Integer option sync_max_rowsize = 8192
    2010:09:30-06:41:55 firewall-2 slon[22336]: [13-1] CONFIG main: Integer option sync_max_largemem = 5242880
    2010:09:30-06:41:55 firewall-2 slon[22336]: [14-1] CONFIG main: Integer option remote_listen_timeout = 300
    2010:09:30-06:41:55 firewall-2 slon[22336]: [15-1] CONFIG main: Boolean option log_pid = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [16-1] CONFIG main: Boolean option log_timestamp = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [17-1] CONFIG main: Boolean option cleanup_deletelogs = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [18-1] CONFIG main: Real option real_placeholder = 0.000000
    2010:09:30-06:41:55 firewall-2 slon[22336]: [19-1] CONFIG main: String option cluster_name = asg_cluster
    2010:09:30-06:41:55 firewall-2 slon[22336]: [20-1] CONFIG main: String option conn_info = dbname=pop3 user=ha_sync
    2010:09:30-06:41:55 firewall-2 slon[22336]: [21-1] CONFIG main: String option pid_file = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [22-1] CONFIG main: String option log_timestamp_format = %Y-%m-%d %H:%M:%S %Z
    2010:09:30-06:41:55 firewall-2 slon[22336]: [23-1] CONFIG main: String option archive_dir = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [24-1] CONFIG main: String option sql_on_connection = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [25-1] CONFIG main: String option lag_interval = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [26-1] CONFIG main: String option command_on_logarchive = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [27-1] CONFIG main: String option syslog_facility = LOG_DAEMON
    2010:09:30-06:41:55 firewall-2 slon[22336]: [28-1] CONFIG main: String option syslog_ident = slon
    2010:09:30-06:41:55 firewall-2 slon[22336]: [29-1] CONFIG main: String option cleanup_interval = 10 minutes
    2010:09:30-06:41:55 firewall-2 slon[22336]: [30-1] ERROR cannot get sl_local_node_id - ERROR: schema "_asg_cluster" does not exist
    2010:09:30-06:41:55 firewall-2 slon[22336]: [30-2] LINE 1: select last_value::int4 from "_asg_cluster".sl_local_node_id
    2010:09:30-06:41:55 firewall-2 slon[22336]: [30-3] ^
    2010:09:30-06:41:55 firewall-2 slon[22336]: [31-1] FATAL main: Node is not initialized properly - sleep 10s 


    I was at the datacenter yesterday and rebooted the slave, at least it doesn't say "syncing" anymore... it says "active" for both master and slave.
Reply
  • I just logged in to the firewall again but I still see this message repeating over and over again:


    2010:09:30-06:41:48 firewall-1 slon[16596]: [8707-1] CONFIG version for "dbname=pop3 host=198.19.250.2 user=ha_sync password=slony" is 80404
    2010:09:30-06:41:48 firewall-1 slon[16596]: [8708-1] ERROR remoteListenThread_2: "select "_asg_cluster".registerNodeConnection(1); " - ERROR: schema "_asg_cluster" does not exist
    2010:09:30-06:41:55 firewall-2 slon[21400]: [4-1] CONFIG slon: child terminated status: 0; pid: 22333, current worker pid: 22333
    2010:09:30-06:41:55 firewall-2 slon[21400]: [5-1] CONFIG slon: restart of worker
    2010:09:30-06:41:55 firewall-2 slon[21400]: [1-1] CONFIG main: slon version 2.0.3 starting up
    2010:09:30-06:41:55 firewall-2 slon[21400]: [2-1] CONFIG slon: watchdog ready - pid = 21400
    2010:09:30-06:41:55 firewall-2 slon[21400]: [3-1] CONFIG slon: worker process created - pid = 22336
    2010:09:30-06:41:55 firewall-2 slon[22336]: [3-1] CONFIG main: Integer option vac_frequency = 3
    2010:09:30-06:41:55 firewall-2 slon[22336]: [4-1] CONFIG main: Integer option log_level = -1
    2010:09:30-06:41:55 firewall-2 slon[22336]: [5-1] CONFIG main: Integer option sync_interval = 2000
    2010:09:30-06:41:55 firewall-2 slon[22336]: [6-1] CONFIG main: Integer option sync_interval_timeout = 10000
    2010:09:30-06:41:55 firewall-2 slon[22336]: [7-1] CONFIG main: Integer option sync_group_maxsize = 20
    2010:09:30-06:41:55 firewall-2 slon[22336]: [8-1] CONFIG main: Integer option desired_sync_time = 60000
    2010:09:30-06:41:55 firewall-2 slon[22336]: [9-1] CONFIG main: Integer option syslog = 2
    2010:09:30-06:41:55 firewall-2 slon[22336]: [10-1] CONFIG main: Integer option quit_sync_provider = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [11-1] CONFIG main: Integer option quit_sync_finalsync = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [12-1] CONFIG main: Integer option sync_max_rowsize = 8192
    2010:09:30-06:41:55 firewall-2 slon[22336]: [13-1] CONFIG main: Integer option sync_max_largemem = 5242880
    2010:09:30-06:41:55 firewall-2 slon[22336]: [14-1] CONFIG main: Integer option remote_listen_timeout = 300
    2010:09:30-06:41:55 firewall-2 slon[22336]: [15-1] CONFIG main: Boolean option log_pid = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [16-1] CONFIG main: Boolean option log_timestamp = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [17-1] CONFIG main: Boolean option cleanup_deletelogs = 0
    2010:09:30-06:41:55 firewall-2 slon[22336]: [18-1] CONFIG main: Real option real_placeholder = 0.000000
    2010:09:30-06:41:55 firewall-2 slon[22336]: [19-1] CONFIG main: String option cluster_name = asg_cluster
    2010:09:30-06:41:55 firewall-2 slon[22336]: [20-1] CONFIG main: String option conn_info = dbname=pop3 user=ha_sync
    2010:09:30-06:41:55 firewall-2 slon[22336]: [21-1] CONFIG main: String option pid_file = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [22-1] CONFIG main: String option log_timestamp_format = %Y-%m-%d %H:%M:%S %Z
    2010:09:30-06:41:55 firewall-2 slon[22336]: [23-1] CONFIG main: String option archive_dir = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [24-1] CONFIG main: String option sql_on_connection = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [25-1] CONFIG main: String option lag_interval = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [26-1] CONFIG main: String option command_on_logarchive = [NULL]
    2010:09:30-06:41:55 firewall-2 slon[22336]: [27-1] CONFIG main: String option syslog_facility = LOG_DAEMON
    2010:09:30-06:41:55 firewall-2 slon[22336]: [28-1] CONFIG main: String option syslog_ident = slon
    2010:09:30-06:41:55 firewall-2 slon[22336]: [29-1] CONFIG main: String option cleanup_interval = 10 minutes
    2010:09:30-06:41:55 firewall-2 slon[22336]: [30-1] ERROR cannot get sl_local_node_id - ERROR: schema "_asg_cluster" does not exist
    2010:09:30-06:41:55 firewall-2 slon[22336]: [30-2] LINE 1: select last_value::int4 from "_asg_cluster".sl_local_node_id
    2010:09:30-06:41:55 firewall-2 slon[22336]: [30-3] ^
    2010:09:30-06:41:55 firewall-2 slon[22336]: [31-1] FATAL main: Node is not initialized properly - sleep 10s 


    I was at the datacenter yesterday and rebooted the slave, at least it doesn't say "syncing" anymore... it says "active" for both master and slave.
Children
No Data