Guest User!

You are not Sophos Staff.

This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

ESXi Server with Hot Standby

Hey Folks,

I've decided to pull the trigger on an ESXi Server build running a Haswell Xeon E3-1275v3 with 32 GiB of Memory to virtualize my old hardware. In light of that, I realized it would be a good opportunity virtualize the UTM and SUM. Once that idea bounced around in my noggin, I started to become curious with playing around with High Availability.

With that said, if I make two identical VM's running UTM on the ESXi Server, what is the ideal way to wire this such that in case of an update or restart, the slave will pick up the slack without any physical interaction? E.g. Given I utilize a Dual Gigabit NIC for the Firewall, one for the Cable Modem and the other to a Switch to connect the LAN, and I assign those two NIC's to UTM #1 as well as to UTM #2, will the ESXi Virtual NIC's do the rest, even communicate between UTM #1 & #2?

Network Example:
Cable Modem --> ESXi Server (UTM #1 & #2) --> Cisco SG200

Note: The ESXi Server will have other onboard NIC's for internal use only.

I've paroozed the forums a bit and read HA Deployment, however, the case I'm trying to implement doesn't necessary seem covered. I'd also like to avoid placing a switch between the cable modem and UTM's if at all possible.

Thanks in advance.


This thread was automatically locked due to age.
  • Hi,

    Residential cable modems normally get upset if the MAC address changes. VMWare will let you set the MACs, but I don't know if you can set both UTMs to the SAME MAC.
    Try it. 
    If it doesn't work, you'd need to power-cycle the modem, or put a router (a switch wouldn't help) in between the modem and the ESXi box.

    Also, you need a HA network... try a new vSwitch, and a new vNIC on each UTM. It shouldn't need to be connected to any real NICs.

    Barry
  • I vaguely recall older Cable Modems having issues with MAC Address changes. I'm not 100% sure if mine falls in the same category as I'm treated more along the lines of a business account due to the nature of the Ultra Plan with my ISP. With that said, I'll give the duplicate MAC a whirl when I get everything up and running. 

    As a fail safe, I actually have a Web Power Switch from DigitalLoggers that powers my Cable Modem. It sends out heart beat signals to various DNS addresses and based on a certain threshold, it will power cycle the outlet powering the Cable Modem. Unfortunately, the downside is that the threshold + Cable Modem reboot will be equal to that of the downtime between switching from Master to Slave. Given that, the DigitalLoggers Web UI allows for scripting, so perhaps I could have one that polls the UTM's to shorten the downtime between switching from Master to Slave.

    Scenarios ordered from Best to Worst
    [LIST=1]
    • Cable Modem does not require a reboot with two MAC Addresses [[:D]]
    • Cable Modem does not require a reboot with Duplicate MAC Addresses [[:D]]
    • Power Cycle triggered by UTM Heartbeat / Reboot / Shutdown [:)]
    • Power Cycle triggered by DNS Heartbeat 
    • Power Cycle triggered manually [:@]
    • [/LIST]
  • Hi

    I would recommend to set a Virtual Mac so the MAC Address would remain the same for the Cable Modem in a HA-Switching event. This works ok if you have just one Server.
    I you later use 2 ESXi Servers with one Sophos VM on each Server you can't use Virtual mac, because the VmWare Virtual switches can't handle this.

    My Provider (UPC - Cablecom - Switzerland) gives me a new IP if i Switch from one VM to the other because i can't use Virtual MACs with my 2 ESXi Servers.
  • Hi Solae, can you explain how to configure a Virtual MAC? I'm not finding much on Google wrt ESXi.

    Thanks,
    Barry
  • Barry: The UTM by default sets it's own virtual MAC when you enable HA. I run ESXi 4.1 at home and our ISP only ever see's the virtual MAC of the HA pair. Neither the host's physical MAC nor the vNIC's MAC are seen by the modem.

    The second scenario solae mentioned is where you have two ESXi servers and run an instance of the UTM pinned to each host, which are then HA clustered. In that scenario you have to turn off the virtual MAC otherwise the other guest vm's on the same ESXi host as the slave node get really confused.

    DaMan841: I use a dual vm HA setup on my i7 based host at home. Works quite nicely and keeps the wife happy when I'm doing work and she's on the IPTV. [:)]
  • Solae and Drew,
    Thanks for the info!

    Barry
  • Thank you very much for the info! I'll be using a single ESXi Server at the moment, so that will work seamlessly, especially if the UTM handles the Virtual MAC's. Thanks for the advice.

    TheDrew: That's exactly the reason I want to implement this strategy! Happy wife happy life, aye? No longer will I need to find the optimal time to tinker or update.

    Cheers
  • Thank you very much for the info! I'll be using a single ESXi Server at the moment, so that will work seamlessly, especially if the UTM handles the Virtual MAC's. Thanks for the advice.

    TheDrew: That's exactly the reason I want to implement this strategy! Happy wife happy life, aye? No longer will I need to find the optimal time to tinker or update.

    Cheers


    Hi Daman,

    how you solved the problem? With Hot Standby and ESXi?

    Thanks for your help!
  • My ESXi Server contains 6 NIC's. Within ESXi Network Configuration, I created a WAN Primary, WAN Secondary, LAN and VM Network. The LAN and VM Network each have two physical NIC's grouped. 

    WAN Primary is connected directly to the Cable Modem.
    LAN are both connected directly to the Switch.
    VM Network are both connected directly to the Switch.

    When creating a new VM for the UTM, I recommend using the latest iso. I then ensure I have 4 VMXNET3 Network Adapters. WAN Primary, WAN Secondary, LAN and VM Network. Within the UTM, WAN Primary is my External, WAN Secondary is currently unused, LAN is my Internal and I have VM Network in there for H/A Sync NIC with the Internal (LAN) as my Back Up Interface.

    So far, High Availability has worked nicely. Wired hosts tend to only lose a single ping or two when they swap. Wireless Clients (utilizing Sophos AP's) tend to go offline for a longer duration, especially when Up2Date's require an AP Firmware Update. I always have a backup non-Sophos AP just in case.

    Any other questions that I haven't covered or with which you would like more detail, please let me know.
  • Instead of recreating an almost identical thread, I thought I'd bring back life to this one. Hope that's alright.

    I was curious if Promiscuous mode is still necessary with two UTM's (Active-Passive) on the same ESXi host using the same vSwitches for WAN, LAN and the Sync interface? (the UTM's share the same physical NIC's, in case that isn't clear)

    Cheers,
    Kyle