IPMI & IPSec Site-to-Site Tunnels

First thing that I see with some basic research which may be the cause of your problem is do you have a packet filter rule allowing UDP port 623 traffic from 192.168.0.x>>192.168.4.100?  

Look in your packet filter and IPS logs to see if anything stands out as being blocked which is destined for the IPMI server.

I also found a post from last year by a user of the IPMI software who complained about how the software would not function if using a version of JRE (Java Runtime) newer than 1.6u17.  It might be worth checking if the version that you're using is possibly too new (current is 1.6u25).

Thank you for your reply.  Yes, my packet filter currently allows "ALL" traffic between the two subnets.

Let me back up a bit and give some more details on network setup as I think this just got tricky!

Network setup:
1U Supermicro server (has IPMI) running VMWare vSphere (2 physical NIC's (Eth0 & Eth1)
-ASG running as a VM (two virtual NICs) (Eth0-internal; Eth1-External)

Evidently, the baseboard management controller ("BMC") on the motherboard is bound/physically tied to Eth0, so this raises the following question:  

With a VM ASG running as your primary firewall, with a cable modem hooked up to Eth1, is it even possible to access the IPMI features over a site-to-site IPSec tunnel, since the tunnel's endpoint is actually on the ASG's "External" (Eth1) interface?

Short of tunneling into a 192.168.4.*** subnet computer, and THEN launching IPMIView from behind ASG and directly hitting Eth0, is there some way to "loop back" the signal internally (in ASG or VMWare vSphere), so that I can go through the IPSec tunnel and actually hit Eth0 with the IPMI data traffic?

I know that for security reasons, you don't want IPMI on externally accessible interfaces, but it seems like there should be a way to hit the Eth0 nic after going through the secured tunnel!  

Any additional info or suggestions would be greatly appreciated as I REALLY need the capability to remotely manage this box (at the IPMI level) when I'm out of town!

Thank you for your reply.  Yes, my packet filter currently allows "ALL" traffic between the two subnets.

Let me back up a bit and give some more details on network setup as I think this just got tricky!

Network setup:
1U Supermicro server (has IPMI) running VMWare vSphere (2 physical NIC's (Eth0 & Eth1)
-ASG running as a VM (two virtual NICs) (Eth0-internal; Eth1-External)

Evidently, the baseboard management controller ("BMC") on the motherboard is bound/physically tied to Eth0, so this raises the following question:  

With a VM ASG running as your primary firewall, with a cable modem hooked up to Eth1, is it even possible to access the IPMI features over a site-to-site IPSec tunnel, since the tunnel's endpoint is actually on the ASG's "External" (Eth1) interface?

Short of tunneling into a 192.168.4.*** subnet computer, and THEN launching IPMIView from behind ASG and directly hitting Eth0, is there some way to "loop back" the signal internally (in ASG or VMWare vSphere), so that I can go through the IPSec tunnel and actually hit Eth0 with the IPMI data traffic?

I know that for security reasons, you don't want IPMI on externally accessible interfaces, but it seems like there should be a way to hit the Eth0 nic after going through the secured tunnel!  

Any additional info or suggestions would be greatly appreciated as I REALLY need the capability to remotely manage this box (at the IPMI level) when I'm out of town!

Evidently, the baseboard management controller ("BMC") on the motherboard is bound/physically tied to Eth0, so this raises the following question:  

With a VM ASG running as your primary firewall, with a cable modem hooked up to Eth1, is it even possible to access the IPMI features over a site-to-site IPSec tunnel, since the tunnel's endpoint is actually on the ASG's "External" (Eth1) interface?

Short of tunneling into a 192.168.4.*** subnet computer, and THEN launching IPMIView from behind ASG and directly hitting Eth0, is there some way to "loop back" the signal internally (in ASG or VMWare vSphere), so that I can go through the IPSec tunnel and actually hit Eth0 with the IPMI data traffic?

As long as the BMC has it's own MAC and IP (on the same subnet as Astaro's eth0), I believe it should work; I've been able to do this in the past with HP's iLO interfaces.

Check the IPS and PF logs, and maybe run tcpdump.

Barry

As long as the BMC has it's own MAC and IP (on the same subnet as Astaro's eth0), I believe it should work; I've been able to do this in the past with HP's iLO interfaces.

Check the IPS and PF logs, and maybe run tcpdump.

Barry

Barry,

When I got home, I physically accessed the bios to check the IP and the IPMI MAC sticker on the motherboard, all were correct/correctly configured/entered.  The server has a total of 3 MAC's (one for each physical ethernet port (total of 2), and a 3rd MAC for the IPMI interface (which physically shares the first hardware ethernet port).

I have been using a static IP in the IPMI configuration, and since I'm having difficulties with ASG seeing/accessing the interface for IPMI purposes, I tried assigned the BMC an IP address via ASG's DHCP server (everything on the 4.*** subnet).  I entered in the IPMI MAC in ASG, selected DHCP in the IPMI management setup and rebooted everything.  

The BMC never pulled a DHCP address from the ASG (remember, the ASG is running as a VM vSphere hosted on the same physical hardware that I'm trying to manage with IPMI).  I suspect the BMC and ASG are not able to communicate for some reason or another.

Plot thickens.  I found out there's also a web interface for the BMC and it can be accessed via both http (port 80) and https (443).  I set up the correct DNAT & packet filter rules in ASG and tried accessing it from an outside computer over the 'net.  Just to make sure my ISP wasn't blocking 80/443, I also set the BMC to 8080 for http and 4200 for https and neither of these ports worked either (I updated the DNAT & packet filter rules each time I tried this).

Honestly, I'm not sure what the issue is.  Unlike Supermicro's special IPMI Viewer program that only seems to work when the server/client are both on the same physical network & subnet, I would think that accessing it via HTTP through a web browser would use standard TCP/IP and with the firewall, could be routed any way I wished.

It really is starting to look like the BMC is unable to communicate at all with ASG (even though both are sharing the same physical interface).  I've never had a need for static routes in ASG, but is this something that could possibly work to make those two MAC addresses see each other and communicate?

Update:

I setup my old ASG firewall and temporarily made it the primary gateway for my network.  I also setup DNAT/Packet Filters to forward all HTTPS traffic to the IPMI/BMC interface.  NOW, when I try to access the web-based IPMI management from outside my internal network it works!

My best guess is something in ASG or VMware ESXi is preventing the two IP addresses on the primary physical ethernet interface from "talking".  If you'll remember earlier in this thread, I tried having the BMC/IPMI interface pull an IP address via DHCP from ASG and it never would.  

Any ideas on how to make these two communicate with each other???