Up2date 4.010 - MiddleWare not running

hi all,

can you please go into detail? is the middleware running after a 'clean' reboot? if not, can you logon to the box and find out if other processes are running?

did you change anything on this machines?

cheers
/marcel 

Marcel,

I just got done wiping the box and reloading ASL.  All is well now.  (I have not updated it to 4.010 yet)

Nothing has changed on this boxes config since the 4.009 patch.  All that I did was apply the 4.010 patch and everything went to hell.

As I said previously Middleware stopped responding and would not start (even after repeated clean reboots).  Instantly I lost my VPN connections and the SMTP proxy stopped processing new mail; however, masquerading was still working. (Until the reboot -- and then nothing was accessible including webadmin)

I wish I could go into more detail with you about this issue.  It was almost 2am when this happened... I could not leave it down for long because of the email.

What I will do is setup a test ASL install using my spare server and restore my config from 4.009 to it and try to up2date to 4.010 again.  I will let you know what I find.

-merc  

Update... My ASL is backup, may have been a problem with adsl.
I have not rebooted since install the update.

Have noticed that in Logfiles->Accounting all the log files are listed has 1.96KByte in size for all months.  (this is woorg [:)] )

If Astaro want any info from a box that has .10 patch installed but has not been rebooted let me know. [:)] 

login to ASL then has root run 
ntpdate 'name of timeserver you want to sync by'
ie if you want Melb,VIC,AUS time then
ntpdate lotl.clari.net.au  [:)]

 

Advise you NOT to reboot if you have installed 9.010

Rebooting seems to cause loss of connectivity
 

okay seems like everyone else is having problems with this latest rev... so its not just me... im not getting those middleware messages and everything is responding fine EXCEPT... ip accounting has ceased... i haven't rebooted yet so i can provide logs just tell me what you need  

scratch that everything is almost running fine... webadmin just died on me... box is still up performing functions like ssh and NAT and everything else just no webadmin and no accounting  

some problems on one of our two pyramid asls:

100% cpu load for fwlogwatch since 0:00  (see pid 834):

----------------------------
gw01:/root # ps xaww
  PID TTY      STAT   TIME COMMAND
    1 ?        S      0:00 init [3]
    2 ?        SW     0:00 [keventd]
    3 ?        SWN    0:02 [ksoftirqd_CPU0]
    4 ?        SW     0:00 [kswapd]
    5 ?        SW     0:00 [bdflush]
    6 ?        SW     0:00 [kupdated]
   11 ?        SW     0:02 [kjournald]
   42 ?        SW     0:00 [kjournald]
   43 ?        SW     2:05 [kjournald]
   44 ?        SW     0:05 [kjournald]
   45 ?        SW     0:00 [kjournald]
   46 ?        SW     0:00 [kjournald]
   47 ?        SW     0:00 [kjournald]
  172 ?        SN     1:00 /usr/local/bin/ipaccd
  205 ?        S      4:49 /usr/sbin/syslogd -m 60 -r -a /dev/log -a /var/chroot-ahi/dev/log -a /var/chroot-bind/dev/log -a /var/chroot-dhcpc/dev/log -a /var/chroot-dhcps/dev/log -a /var/chroot-ha/dev/log -a /var/chroot-identd/dev/log -a /var/chroot-ipsec/dev/log -a /var/chroot-pop3/dev/log -a /var/chroot-pppd/dev/log -a /var/chroot-pppoe/dev/log -a /var/chroot-pptp/dev/log -a /var/chroot-pptpc/dev/log -a /var/chroot-smtp/dev/log -a /var/chroot-snmp.mrtg/dev/log -a /var/chroot-socks/dev/log -a /var/chroot-squid/dev/log
  206 ?        S      1:22 /usr/sbin/klogd -k /System.map -c 1
  301 ?        SW     0:00 [khubd]
  383 ?        S      0:00 /sbin/sshd -4 -f /etc/sshd_config
  387 ?        S      0:00 /usr/bin/perl -w /usr/sbin/psd-watch.pl
  391 ?        S      0:00 /bin/license /etc/wfe/conf/license
  500 ?        S      0:00 ./aua.bin /etc/wfe/conf/aua_main_config.ini
  516 ?        S      0:00 /bin/bash /sbin/init.d/rc3.d/S95lcd start
  522 ?        S      0:00 /usr/bin/perl ./LCD.perl start
  538 ?        S      0:33 /usr/bin/perl ./newticker.pl 16
  540 ?        S      0:00 ./repeater
  542 ?        S      0:00 sh -c export LCD_SIZE_W=16;export LCD_SIZE_H=2; ./lcdttygraph /dev/null 2>/dev/null
  547 ?        S      0:04 /usr/local/bin/daemon-watcher superdaemon.pl /usr/local/bin/superdaemon.pl & 5
  548 tty1     S      0:00 /sbin/mingetty --no-hostname tty1
  549 tty2     S      0:00 /sbin/mingetty --no-hostname tty2
  551 ?        S      2:38 ./lcdttygraph /dev/lcd_pyramid
  678 ?        S     10:26 /usr/local/bin/superdaemon.pl
 2324 ?        S      0:00 /usr/sbin/cron
31309 ?        S      0:45 ./mdw_deamon.pl
31530 ?        S      0:00 /usr/sbin/httpd -f /etc/httpd/httpd.conf
31535 ?        S      0:00 [httpd]
32751 ?        S      0:00 /bin/cnotifier /etc/wfe/conf/settings /usr/local/bin/anotifier /var/chroot-squid/var/run/notify /var/run/notify
32767 ?        S      0:00 /usr/sbin/snmpd__
  698 ?        S      0:09 /usr/sbin/named__
  818 ?        S      2:02 /usr/local/bin/nacctd
 1076 ?        S      0:06 [spamd.exe]
 1078 ?        S      0:01 [exim]
 1742 ?        S      0:00 /USR/SBIN/CRON
 1743 ?        S      0:00 /bin/bash /usr/local/bin/log-rotate.sh
 5979 ?        SN     0:00 /usr/bin/perl -w /usr/local/bin/fwlw.pl /var/log/kernel-20030812.gz
  834 ?        RN   163:51 /usr/local/bin/fwlogwatch -f /var/log/kernel-20030812.gz -P n -b -m 5 -t -e -n -N -p
  835 ?        SN     0:00 sh -c nice -19  /usr/bin/bzip2 -czq > /var/chroot-report/fwlogwatch/kernel-20030812/Src_Dst_report.bz2
  836 ?        SN     0:00 /usr/bin/bzip2 -czq
27694 ?        S      0:00 [httpd]
12499 ?        S      0:00 /sbin/sshd -4 -f /etc/sshd_config
12675 ?        S      0:00 [sshd]
12676 pts/0    S      0:00 -bash
12684 pts/0    S      0:00 -bash
12894 ?        S      0:00 /usr/local/httpd/htdocs/index.fpl
12932 ?        Z      0:00 [aua.bin ]
12981 ?        S      0:00 [httpd]
13256 pts/0    R      0:00 ps xaww

---------------------------------------------------------------------------
and here the mdwlog of yesterday (we installed up2date 4.010 yesterday):

---------------------------------------------------------------------------
:: Stopping SMTP Proxy
-> ok
:: Starting SMTP Proxy
:: Starting SMTP Proxy
-> ok
:: Restarting SMTP Proxy
-> ok
:: Stopping kavdaemon
   Stopping avsocketmultiplexer
-> failed
PACKETFILTERFILE DONE: 1060681684
:: Stopping SMTP Proxy
-> ok
:: Starting SMTP Proxy
:: Starting SMTP Proxy
-> ok
:: Restarting SMTP Proxy
-> ok
:: Stopping kavdaemon
   Stopping avsocketmultiplexer
-> failed
PACKETFILTERFILE DONE: 1060681923
:: Stopping SMTP Proxy
-> ok
:: Starting SMTP Proxy
:: Starting SMTP Proxy
-> ok
:: Restarting SMTP Proxy
-> ok
:: Stopping kavdaemon
   Stopping avsocketmultiplexer
-> failed
PACKETFILTERFILE DONE: 1060681934
:: Stopping SMTP Proxy
-> ok
:: Starting SMTP Proxy
:: Starting SMTP Proxy
-> ok
:: Restarting SMTP Proxy
-> ok
:: Stopping kavdaemon
   Stopping avsocketmultiplexer
-> failed
PACKETFILTERFILE DONE: 1060686483

##################
#AN ERROR OCCURED
#mdw_deamon.pl: main::wait_for_childs() => There are still MiddleWare children after 5 wait cylces - skiping them..
#       Function has been called in package main at mdw_deamon.pl line 1568.
#       2003/08/12 14:05:07
#       modules::Error::Error
#       main::wait_for_childs



##################
#AN ERROR OCCURED
#mdw_deamon.pl: main::wait_for_childs() => There are still MiddleWare children after 5 wait cylces - skiping them..
#       Function has been called in package main at mdw_deamon.pl line 1568.
#       2003/08/12 14:05:17
#       modules::Error::Error
#       main::wait_for_childs



##################
#AN ERROR OCCURED
#mdw_deamon.pl: main::wait_for_childs() => There are still MiddleWare children after 5 wait cylces - skiping them..
#       Function has been called in package main at mdw_deamon.pl line 1568.
#       2003/08/12 14:05:26
#       modules::Error::Error
#       main::wait_for_childs


Astaro MiddleWare
(c)2000-2002 Astaro AG
--------------------------------------

:: Reconfigure Syslog
-> ok
Starting static eth interfaces:

0Starting static eth interfaces:

0Starting static eth interfaces:

0:: Stopping Notification daemon
-> ok
:: Starting Notification daemon
-> ok
:: Restarting Notification daemon
-> ok
:: Shutting SNMP
-> failed
:: Starting SNMP
-> failed
:: Restarting SNMP
-> failed
12 Aug 17:06:39 ntpdate[31518]: sendto(130.149.17.21): Network is unreachable
12 Aug 17:06:40 ntpdate[31518]: sendto(130.149.17.21): Network is unreachable
12 Aug 17:06:41 ntpdate[31518]: sendto(130.149.17.21): Network is unreachable
12 Aug 17:06:42 ntpdate[31518]: sendto(130.149.17.21): Network is unreachable
12 Aug 17:06:43 ntpdate[31518]: no server suitable for synchronization found
:: Stopping SOCKS Proxy
-> failed
:: Closing Active PPTP-Sessions:
-> ok
:: Shutting down PPTP Server:
-> failed
:: Reconfigure Syslog
-> ok
:: Stopping Ident Proxy
-> failed
Use of uninitialized value in string eq at modules/smtp.pm line 546.
Use of uninitialized value in string eq at modules/smtp.pm line 546.
Use of uninitialized value in string eq at modules/smtp.pm line 546.
Use of uninitialized value in string eq at modules/smtp.pm line 546.
Use of uninitialized value in string eq at modules/smtp.pm line 546.
.
.
.
Use of uninitialized value in string eq at modules/smtp.pm line 546.
Use of uninitialized value in string eq at modules/smtp.pm line 546.
Use of uninitialized value in string eq at modules/smtp.pm line 546.
Use of uninitialized value in string eq at modules/smtp.pm line 546.
:: Stopping SMTP Proxy
-> ok
:: Starting AntiSpam
:: Starting SMTP Proxy
-> ok
:: Restarting SMTP Proxy
-> ok
:: Stopping kavdaemon
   Stopping avsocketmultiplexer
-> failed
PACKETFILTERFILE DONE: 1060700856
Use of uninitialized value in substitution (s///) at modules/smtp.pm line 537.
:: Stopping SMTP Proxy
-> ok
:: Starting AntiSpam
:: Starting SMTP Proxy
-> ok
:: Restarting SMTP Proxy
-> ok
:: Stopping kavdaemon
   Stopping avsocketmultiplexer
-> failed
PACKETFILTERFILE DONE: 1060700876
---------------------------------------------------------------------------

any ideas ????

thnx,

gnjb  

ok, after reading all the reports twice I'd like to thank those reporting some details ... and I'd like to tell the others that a 'me too' posting won't help us finding a problem.

back to the problem:
some of you are probably having problems with our middleware. this may be related to a special configuration. when I got this right, only wk has a 4.009 backup which kills his 4.010 - so please, wk, send me the backup file ( mgehrlein@astaro.com ).

In the Up2Date, the middleware gets stopped, replaced and started. In case it is back up and running after applying the update, a reboot shouldn't kill your system.

I'm currently testing the timezone issue reported by Simon - stay tuned... (PS: you won't get australian time by just using an australian timeserver - every timeserver sends UTC time - the timezone on your machine is responsible for setting the correct offset, so maybe you should just reselect the WST zone in webadmin)

for those not being able to access webadmin/ssh - I assume your middleware is not running as well, so you probably did a reboot.. in case you have a config backup, send it to me please ( mail address see above)

thanx
/marcel 

Yes I know about timezones [:)]

The timezone was set correctly but appears broken now.
I have manually gone in and corrected the time.

Be nice to have it working via webmin though [:)]

Yes 4.010 broke my middleware.  Restarted box and now can't see it at all from remote.  Have emailed Marcel my 4.009 backup file.
 

Hi Marcel,
I can send you my configuration. But I don't like to send my Password for the DSL connection - is there a way to clean or change it in the Backup?
Magic01  

I think I found the problem: When using DHCP you have to select a served network. There are several network offers - the auto-generated and the self defined. Middleware seems not to like the selfdefined in 4.010 - in case you're using DHCP and have a selfdefined network for DHCP, change it to the predefined before applying the update. (e.g. Internal_Network__ on 'Internal' Interface)

Please post feedback on this so we can fix this for future updates...

cheers
/marcel

PS: Thanx @Simon .. he was the fastest sending a backup [;)]t here. 


Edit: in case you already applied the update, do the following:
- have a look at /etc/wfe/conf/itf.conf and write down the name of the interface you're using for DHCP (the name is in [brackets] )
- edit /etc/wfe/conf/dhcpd and replace the string after 'network = ' with the interface name followed by '_Network__'
- example.. it may read:
  network = Internal_Network__
- restart middleware: /etc/rc.d/mdw restart
- post feedback here

I think I found the problem: When using DHCP you have to select a served network. There are several network offers - the auto-generated and the self defined. Middleware seems not to like the selfdefined in 4.010 - in case you're using DHCP and have a selfdefined network for DHCP, change it to the predefined before applying the update. (e.g. Internal_Network__ on 'Internal' Interface)

Please post feedback on this so we can fix this for future updates...

cheers
/marcel

PS: Thanx @Simon .. he was the fastest sending a backup [;)]t here. 


Edit: in case you already applied the update, do the following:
- have a look at /etc/wfe/conf/itf.conf and write down the name of the interface you're using for DHCP (the name is in [brackets] )
- edit /etc/wfe/conf/dhcpd and replace the string after 'network = ' with the interface name followed by '_Network__'
- example.. it may read:
  network = Internal_Network__
- restart middleware: /etc/rc.d/mdw restart
- post feedback here

Post deleted by wk

What suprises me is that the update is still online after all these troubles.......... 

Hi,
I get now some response and deleted my post.
Before judging, I will do some more tests.
Sorry guys.

cu
Walter  

Hi Marcel,

I sacrified my backup-box for the test and in spite of my first impression it seems to works now. It took some minutes to catch up again and the log in mdwlog looked weird.
So I not only changed the network to intern_network__, but also switched DHCP off during update.
After the first tests, I switched DHCP on again. With intern_network__ it is OK now, but when I change to my self defined network the box is running wild again.

I'll keep an eye on the box and on this board before I change my productive box.

cu
Walter   

Worked for me   

I tend to agree with Mike's comments on this.

Yes a "Me too" isn't helpful but you shouldn't bash your users.  Maybe phrase it a little differently next time [:)]

Questions about the up2date being pulled are valid.  I still think it should be pulled and corrected.

Least we have a possible fix now.  Just need someone to get into the office there now since all external connectivity dead.

Rollback facility would be nice, but is quite hard to implement correctly. 

[ QUOTE ]


Please post feedback on this so we can fix this for future updates...

cheers
/
Edit: in case you already applied the update, do the following:
- have a look at /etc/wfe/conf/itf.conf and write down the name of the interface you're using for DHCP...

--------------------------------------
Hi All, Just want to double check on this, since I'm new to ASL.
Here is a copy of my itf.con file.

[Internal]
address = manual[192.168.1.254]
gateway = none
hardware = eth0
netmask = manual[255.255.255.0]
status = 1
type = eth-primary

[external]
address = assign
gateway = assign
hardware = eth1
password = XXXXXXXXX
qosstatus = off
status = 1
type = ppp-pppoe
username = xxxxxx@xxxxxx.com.au


[global]
hostname = fw.cimarelli.org

------------------------------------------
Since I'm not using DHCP it should be OK to reboot? with 4.0.10 installed
I have restarted mdw and every thing seems OK. 

If you are not using DHCP with self defined interface names it should work OK.  But I'm not promising a warranty or anything with that... [;)] 

Marcel,

I installed Up2Date 4.010 tonight on my restored ASL box (this time not at 2am  [;)]ne.

Thanks
-merc 

All those problems each time an Up2Date is released drive me to have a testing machine, making lot's of backups and being a couple of releases before at production firewall (so now I'm on 4.008 while 4.010 is released). But all this is not only because of ASL... I follow this procedure in each server I run like AS/400, AIX or Windows2000.