[8.160][BUG][CLOSED] afcd segfault

2011:03:10-16:46:24 gnanet kernel: [  732.322099] afcd[6510]: segfault at 4 ip 00000000f62b03f5 sp 00000000f59b39d0 error 4 in temp.rnJPIF (deleted)[f62a3000+f000]


2011:03:10-18:35:19 gnanet kernel: [  381.175023] afcd[6409]: segfault at dead0106 ip 00000000dead0106 sp 00000000f59e0b9c error 14

2011:03:10-18:35:19 gnanet kernel: [  381.175030] afcd[6410]: segfault at f63e2e74 ip 00000000f740c410 sp 00000000f51dfc80 error 7 in libnavl.so[f7396000+80000]


here is entire kernel log

2011:03:10-14:29:03 gnanet kernel: [69621.754693] warning: `syslog-ng' uses 32-bit capabilities (legacy support in use)

2011:03:10-16:34:17 gnanet kernel: [    4.666331] NET: Registered protocol family 10
2011:03:10-16:34:17 gnanet kernel: [    4.666440] lo: Disabled Privacy Extensions
2011:03:10-16:34:17 gnanet kernel: [    4.666497] asg_cluster [INFO]: Registered IPv6 okfn
2011:03:10-16:34:17 gnanet kernel: [    4.671151] ip_tables: (C) 2000-2006 Netfilter Core Team
2011:03:10-16:34:17 gnanet kernel: [    4.671153] Astaro Security Gateway V8 Packet Filter, secunetwall 2 Packet Filter BSI-DSZ-CC-0696: 'ip_tables' loaded
2011:03:10-16:34:17 gnanet kernel: [    4.684922] ip6_tables: (C) 2000-2006 Netfilter Core Team
2011:03:10-16:34:17 gnanet kernel: [    4.684924] Astaro Security Gateway V8 Packet Filter, secunetwall 2 Packet Filter BSI-DSZ-CC-0696: 'ip6_tables' loaded
2011:03:10-16:34:17 gnanet kernel: [    4.715671] nf_conntrack version 0.5.0 (312500 buckets, 2500000 max)
2011:03:10-16:34:17 gnanet kernel: [    4.718832] Netfilter messages via NETLINK v0.30.
2011:03:10-16:34:17 gnanet kernel: [    4.720780] ctnetlink v0.93: registering with nfnetlink.
2011:03:10-16:34:17 gnanet kernel: [    4.738623] Astaro Security Gateway V8 Packet Filter, secunetwall 2 Packet Filter BSI-DSZ-CC-0696: 'iptable_filter' loaded
2011:03:10-16:34:17 gnanet kernel: [    4.756792] Astaro Security Gateway V8 Packet Filter, secunetwall 2 Packet Filter BSI-DSZ-CC-0696: 'ip6table_filter' loaded
2011:03:10-16:34:34 gnanet kernel: [   21.697924] ip_set: protocol 6
2011:03:10-16:34:34 gnanet kernel: [   21.950408] Ebtables v2.0 registered
2011:03:10-16:34:34 gnanet kernel: [   21.979209] r8169: eth0: link up
2011:03:10-16:34:34 gnanet kernel: [   21.979213] r8169: eth0: link up
2011:03:10-16:34:34 gnanet kernel: [   21.989279] NET: Registered protocol family 17
2011:03:10-16:34:34 gnanet kernel: [   22.002817] r8169: eth1: link up
2011:03:10-16:34:34 gnanet kernel: [   22.002822] r8169: eth1: link up
2011:03:10-16:34:37 gnanet kernel: [   25.273114] warning: `syslog-ng' uses 32-bit capabilities (legacy support in use)
2011:03:10-16:34:44 gnanet kernel: [   31.958314] NF_TPROXY: Transparent proxy support initialized, version 4.1.0
2011:03:10-16:34:44 gnanet kernel: [   31.958317] NF_TPROXY: Copyright (c) 2006-2007 BalaBit IT Ltd.
2011:03:10-16:34:51 gnanet kernel: [   38.491481] IT8718 SuperIO detected.
2011:03:10-16:34:51 gnanet kernel: [   38.496373] ppdev: user-space parallel port driver
2011:03:10-16:34:51 gnanet kernel: [   38.523785] ide-cd driver 5.00
2011:03:10-16:46:24 gnanet kernel: [  732.322099] afcd[6510]: segfault at 4 ip 00000000f62b03f5 sp 00000000f59b39d0 error 4 in temp.rnJPIF (deleted)[f62a3000+f000]
2011:03:10-17:20:26 gnanet kernel: [ 2774.395146] r8169: eth0: link down
2011:03:10-17:20:29 gnanet kernel: [ 2777.279415] r8169: eth0: link up
2011:03:10-18:29:03 gnanet kernel: [    4.666642] NET: Registered protocol family 10
2011:03:10-18:29:03 gnanet kernel: [    4.666765] lo: Disabled Privacy Extensions
2011:03:10-18:29:03 gnanet kernel: [    4.666824] asg_cluster [INFO]: Registered IPv6 okfn
2011:03:10-18:29:03 gnanet kernel: [    4.671463] ip_tables: (C) 2000-2006 Netfilter Core Team
2011:03:10-18:29:03 gnanet kernel: [    4.671465] Astaro Security Gateway V8 Packet Filter, secunetwall 2 Packet Filter BSI-DSZ-CC-0696: 'ip_tables' loaded
2011:03:10-18:29:03 gnanet kernel: [    4.674093] ip6_tables: (C) 2000-2006 Netfilter Core Team
2011:03:10-18:29:03 gnanet kernel: [    4.674095] Astaro Security Gateway V8 Packet Filter, secunetwall 2 Packet Filter BSI-DSZ-CC-0696: 'ip6_tables' loaded
2011:03:10-18:29:03 gnanet kernel: [    4.711185] nf_conntrack version 0.5.0 (312500 buckets, 2500000 max)
2011:03:10-18:29:03 gnanet kernel: [    4.714774] Netfilter messages via NETLINK v0.30.
2011:03:10-18:29:03 gnanet kernel: [    4.716761] ctnetlink v0.93: registering with nfnetlink.
2011:03:10-18:29:03 gnanet kernel: [    4.740922] Astaro Security Gateway V8 Packet Filter, secunetwall 2 Packet Filter BSI-DSZ-CC-0696: 'iptable_filter' loaded
2011:03:10-18:29:03 gnanet kernel: [    4.848086] Astaro Security Gateway V8 Packet Filter, secunetwall 2 Packet Filter BSI-DSZ-CC-0696: 'ip6table_filter' loaded
2011:03:10-18:29:20 gnanet kernel: [   21.909402] ip_set: protocol 6
2011:03:10-18:29:20 gnanet kernel: [   22.160352] Ebtables v2.0 registered
2011:03:10-18:29:20 gnanet kernel: [   22.189197] r8169: eth0: link up
2011:03:10-18:29:20 gnanet kernel: [   22.189202] r8169: eth0: link up
2011:03:10-18:29:20 gnanet kernel: [   22.198803] NET: Registered protocol family 17
2011:03:10-18:29:20 gnanet kernel: [   22.218940] r8169: eth1: link up
2011:03:10-18:29:20 gnanet kernel: [   22.218945] r8169: eth1: link up
2011:03:10-18:29:24 gnanet kernel: [   25.579382] warning: `syslog-ng' uses 32-bit capabilities (legacy support in use)
2011:03:10-18:29:30 gnanet kernel: [   31.501363] NF_TPROXY: Transparent proxy support initialized, version 4.1.0
2011:03:10-18:29:30 gnanet kernel: [   31.501365] NF_TPROXY: Copyright (c) 2006-2007 BalaBit IT Ltd.
2011:03:10-18:29:37 gnanet kernel: [   38.444284] IT8718 SuperIO detected.
2011:03:10-18:29:37 gnanet kernel: [   38.448089] ppdev: user-space parallel port driver
2011:03:10-18:29:37 gnanet kernel: [   38.475283] ide-cd driver 5.00
2011:03:10-18:35:19 gnanet kernel: [  381.175023] afcd[6409]: segfault at dead0106 ip 00000000dead0106 sp 00000000f59e0b9c error 14
2011:03:10-18:35:19 gnanet kernel: [  381.175030] afcd[6410]: segfault at f63e2e74 ip 00000000f740c410 sp 00000000f51dfc80 error 7 in libnavl.so[f7396000+80000] 
  • Astaro Beta Report
    --------------------------------
    Version: 8.160
    Type: BUG
    State: CLOSED
    Reporter: mos4567
    Contributor: 
    MantisID: 
    Target version: 
    Fixed in version: 
    --------------------------------

  • Can you please post the output of the command "cc get afc" on the console?
  • andrew@umonkey:~$ ssh root@192.168.2.100
    


    Astaro Security Gateway
    (C) Copyrights by Astaro and by others 2000-2011.
    For more copyright information look at /doc/astaro-license.txt
    or www.astaro.com/.../astaro-license.txt

    NOTE: Any modifications done by root will void your support.
          Please use WebAdmin for any configuration changes.

    gnanet:/root # cc get afc
    afc = {
              "controlled_networks" => [
                                         "REF_NetworkAny"
                                       ],
              "log" => "limit_host",
              "num_queues" => 0,
              "rules" => [
                           "REF_AppRulRemotAcces",
                           "REF_AppRulBlock",
                           "REF_AppRulMoBlock"
                         ],
              "status" => 1,
              "submit_unknown_traffic_data" => 0,
              "transparent_skip" => []
            }

    gnanet:/root # logout
    Connection to 192.168.2.100 closed.
  • Could you please have a look at the directory
    /var/storage/cores/

    and check if it contains afc core files?
    Example:
    ls  /var/storage/cores/
    afcd.18013

    (the number after "afcd." varies).

    If there are core files, could you please make them availble to us (two core dumps at most should be sufficent)?
    You can run "bzip2 afcd.*" to compress the files, as they can get rather large.

    WARNING: core files contain the full memory contents of the program, i.e. they can contain content of
    network traffic in the afcd case.
  • Well #&@*  

    before reading your message I got paged by the box

     [INFO-154] Data Disk is filling up - please check
    Data Disk is filling up - please check. Current usage: 97%

    It was unresponsive via the web interface, so I logged into the box, it was very slow and df showed that the data partition was 100% full, du tracked down /var/storage/cores/ as the source of the problem, it was filled with a long list of huge files and had one half in swap.  

    I was not sure what they were - I have only opened a shell on the box once before and that was to get the info you requested in the last post. 

    I was fairly sure that I was going to just be reinstalling, so I figured what the heck, it will either kill it or perk it back to life, so I ran rm --rf /var/storage/cores/*

    However their is some good news, I have not yet reinstalled, I was about to, I figured I could not really confidently post bug reports after deleting a ton of unfamiliar files.  That the same reason I stayed off the shell, I figured letting it sink or swim on it's own was the best approach for a beta. So if you would like I can hold off on reinstalling and wait to see if more dumps appear.
  • I figured I could not really confidently post bug reports after deleting a ton of unfamiliar files.


    Don't worry, deleting core files won't hurt stability.

    Easiest way to get one off would be with SCP or cp (copy) to a flash drive. You may have to mount the drive manually first.

    Barry
  • I will check it latter and see if problem is still ongoing and if so I can grab them, but I do have one concern.  Since our ASG  scans in HTTPs I need to be able to audit the dump for any confidential information before sending them, since you guys would know best do you have any recommendations for a best way to do that?
  • The first hint is to only look at the smaller files. The command `ls -lS` sorts the files by size. This saves you a lot of work.

    To view only the readable contents of a file, you usually use the `strings`command, but we don't ship that. You can use this command instead:

    [FONT="Courier New"]

    perl -pe 's![^\w\s]!!g;$_' YOURFILENAMEHERE |less

    [/FONT]
  • Hi there,

    any news on this thread?

    Today on 8.161 (fresh install yesterday) ASG stoped networking at around 04:10 in the morning (no kbr, no HA!)
    i saw a lot of IF eth0 up and down messages and at 04:10 till 08:10(where i restarted the ASG manually) nothing.
    But i saw this :



    2011:03:30-08:14:10 firewall kernel: [  102.282931] r8169: eth0: link up
    2011:03:30-08:14:10 firewall kernel: [  102.325806] r8169: eth0: link up
    2011:03:30-08:14:18 firewall kernel: [  110.767216] r8169: eth0: link up
    2011:03:30-08:14:58 firewall kernel: [  150.784014] afcd[7289]: segfault at dead0106 ip 00000000dead0106 sp 00000000f59a4b9c error 14
    2011:03:30-08:14:58 firewall kernel: [  150.784026] afcd[7288]: segfault at f63a6e74 ip 00000000f73d0410 sp 00000000f61a5c80 error 7 in libnavl.so[f735a000+80000]
    2011:03:30-08:22:42 firewall kernel: [  613.261748] r8169: eth0: link up


    and i have dumps of the afcd, should i send it to someone?

    Robert

    p.s. should i open a extra post for the networking stop problem?
  • @Robert: does this happen on 8.161 or on 8.162?