This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

UTM ESXi vs Shuttle DS81

Hello all!

I am looking to setup a UTM box for my home network to play around with (learn) and take advantage of the huge feature set that is offered with the home edition.

I currently have two ESXi 5.5 Update 1 hosts (Core i7-2600K) with 24GB of RAM in each and share the load of 36 VMs (not all are on).  They have 5 NICs in each and the network breakdown like this:

Current

DSL Modem----Cisco Router-----Cisco Switch----Cisco Switch

The Cisco router is the GW for all subnets

Future

DSL Modem----UTM----Cisco Router-----Cisco Switch----Cisco Switch



vSwitch 0 (2 NICs dedicated)
Vlan 5 Mgmt
Vlan 10 LAN (wireless/media streaming)
Vlan 15 Servers
Vlan 25 VMotion
Vlan 30 VPN (Cisco DMVPN)
Vlan 35 FT


vSwitch 1 (2 NICs dedicated)
Vlan 20 iSCSI multipathing (Synology DS412+)


ESXi 1

2 x NICs teamed for all Vlan except iSCSI
2 x NICs iSCSI multipathing to Synology NAS
1 x NIC unused (potential UTM external NIC)

ESXi 2

2 x NICs teamed for all Vlan except iSCSI
2 x NICs iSCSI multipathing to Synology NAS
1 x NIC unused (potential UTM external NIC)




First option:

Shuttle DS81                        $210
Intel Core i3-4330 Hasswell    $140
Startech USB 3.0 NIC (DMZ)  $35
Corsair Vengeance RAM 8GB   $75
OCZ 120GB SSD (I currently have this)

Roughly about $460 from Newegg


Second Option

Virtualized UTM with  3 x VMXNET NICs

I would like to use the spare NIC I have in each host as the external interface for UTM and have the other two NICs mapped to my internal network and an DMZ interface for anything internet facing.


So I guess my question is what are the benefits for each option? Obviously money from the start, but I would I would like to accomplish the same level (if possible) of usability and security of using dedicated hardware.  I am also looking for detailed info for setting of the network configuration for ESXi. I know a separate vSwitch will be needed to map the external UTM interface to the extra physical NIC i have in each host, but I am open to options.

I have search through this forum and have seen a couple of examples, but not quite what I’m looking to accomplish with the hardware I currently have.  Let me know if greater detail is needed


Thoughts?
MG


This thread was automatically locked due to age.
  • I'd consider starting virtual and migrate to dedicated hardware (or an new ESXi host) in the future if needed/desired.

    Have you considered using a VLAN to bring in the outside internet into VMWare for a UTM via what appear to be the existing VLAN capable switch(es).

    USB NIC would require a bit of research to verify it is supported and works well.

    Having a separate/dedicated system for the UTM has some potential advantages.  If you're building a big enough box the new system could even be a VMware host dedicated or semi-dedicated to the UTM.
  • Thanks for the info. I haven't actually coonfigured anything yet.  I have the UTM VM prepped and ready to go, just need to figure out network wise how I would like traffic to flow.  Ideally I would want traffic to the  virtual machine to flow just as it would with dedicated hardware. I have yet to find a good "how to?" guide for setting up UTM, just a bunch of trial and error configurations.  Not saying I'm above learning the hard way, I just want to start from a good foundation before I start beating my head against the wall. I've done that too many times setting up my esxi hosts.
  • I am actually running the UTM in vmware in a small production environment and it is working well.  The only glitch I have is the ULOGD service randomly dies (but auto restarts itself) for some reason.  There are a few threads on this floating around the forum but I haven't had the time to dig into it.

    The way I have it working is like this.

    I have one of the physical network ports on each esxi server dedicated to the outside wan.

    For a while, I was running this on a single esxi server which is really neat as there are no physical switches required at all.  All I had was a single network cable from the datacenter plugged into the single network port on the server.  I then created a virtual switch in vmware to handle my multi vlan network.  I even included an unused port on the server as part of the lan just in case I needed to plug a laptop into it.  The port doesn't even need to be active.

    Basically you give the virtual machine that you install sophos on a second network card and use it for your internal interface.  I set mine up as a trunk port for multi vlan.

    Of course all the translation and routing occur through the sophos UTM.
  • Thanks sounds pretty interesting. I'm curious to know how you have both ESXi servers configured for one UTM device. Are you running UTM as an HA pair, or are you doing something esle. I guess my main concern is the traffic flow from WAN to you internal network.  

    Currently my Cisco router is connected to my DSL with the (CBAC) content based access control (firewall of sorts) configured to filter traffic.  I would like to remove this configuration and have UTM handle the FW portion so the router can just filter with ACLs (saves CPU cycles) and route traffic for my vlans.  The router is also a DMVPN hub and a remote access GW for accessing my home network from the road.

    I have an extra nic in each host for the WAN interface, but not one for the connection I assume I would need to plug into the external side of my router. I don't want to UTM to do any vlan functions, as I have Cisco hardware for that now.  Is your setup similar to this?


    Thanks
  • The setup I am describing is for active/passive sophos configuration.  If you want to run clustered active/active, that's a different config regardless of whether we are talking hardware units or virtual units.

    I just have a single sophos utm running in vmware.  If that server dies, it will just failover to the other vmware esxi server.  There will be a minute of downtime I suppose but this isn't critical.  One thing you could do is turn on vmware Fault Tolerance on that virtual machine then there is no downtime even though it is a single vm.

    There is no reason (that I can think of) why you can't run 2 sophos UTM's on 2 esxi servers.  You would definitely want to make a DRS rule that says they must always be on 2 separate servers, never together.  As you know they do not run an HSRP style failover where 3 ip's are required, they run a vrrp failover with a single ip.  So there is no issue with overlapping ip's.

    Each esx server will need a network cable.  You have a few choices here.
    1.) You could have 2 network cables supplied by your datacenter, each going to a different distribution hardware from your data center.  These would plug into 2 esxi servers directly.
    2.) You could supply 2 physical switches and plug the data centers cables in there, then plug in however many network cables to these switches as you have esxi servers.
    3.) you could have a single connection from your data center plugged into a physical switch and then plug in cables to each of your esxi servers.

    There is many ways to do this I guess but in a virtualized environment I cannot see a good reason to run 2 in an active/passive format.  Active/Active with clustering where other things besides firewalling is going on (web filtering, email, etc..) makes a lot of sense for more than on in vmware.

    I know you said you don't want it to do any vlan functions, but there is no reason why it cannot participate in your vlan architecture.

    There is so many ways to do this.
  • Hi, 

    USB NICs are horrible; users here have reported speeds of 1 megabit (1 mbps).

    Realtek NICs aren't very good either.

    Get a system with a half-height PCIe slot and add a single or dual-port good (Intel or Broadcom) NIC, and do VLANs if needed.

    Or get a board with dual Intel NICs onboard; LogicSupply and Newegg have a couple ASRock and Jetway boards with dual Intel NICs; you can see them at
    Intel Core Motherboards | Logic Supply

    LogicSupply will sell you a pre-assembled system if you prefer.

    What speed is your internet connection?
    If much over 100mbps, I'd probably recommend an i5-4670 over the i3.

    Virtualization would be OK if you can dedicate 2 CPU cores and at least 4GB RAM to the UTM, and if you have good NICs in the servers.

    Barry
  • That's a good point, but I didn't get the impression from his setup he was using something less than enterprise but I don't know.  The server I was describing my setup on is more enterprise being a Dell R710 series which has broadcom nics.  I use the vmxnet3 drivers wherever possible because of the ability to incorporate receive side scaling on multiple virtual cpu's (although that might be a MS windows vm thing not something linux based).
  • Hi, the vmxnet3 drivers are the best-performing in Linux also.

    Barry
  • Thanks for the insight guys.  I am going to try the active/passive setup this weekend, as I will have to time to trouble connectivity if something goes wrong.  I will check back when with the results of my findings...[:)]
  • Sounds good.  Remember, if its in vmware, there is probably no good reason to have 2 units running in active passive when you could just have a single unit and turn on Fault Tolerance in vmware.