This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Configuring a VLAN across eth0, eth2 and eth3.

Hello,

I have a Sophos UTM 110 with devices connected to eth0, eth2 and eth3. The devices are configured to use VLAN 13. I found that I had to bridge eth0, eth2 and eth3 in order to allow the devices connected to those interfaces communicate using VLAN 13. 

Note that the devices are hypervisors (ESXi) and virtual machines running inside of them will be communicating on a different VLAN. This allows me to use the ESXi servers for a security testing without worrying that the malicious software can undermine my ESXi hosts, or other virtual machines hosting web sites etc.

So here's the steps I took:

[LIST=1]
  •  Got the Sophos UTM 110 device (aka router)
  •  Configured public IPv4 address and verified I can connect to WebAdmin over eth1. 
  •  Bridged eth0, eth2 and eth3
  •  Configured a VLAN 13 on br0, named Orion (aka the Constellation)
  •  Configured L2TP VPN 
  •  Added firewall rule to allow all traffic from VPN Pool (L2TP) to the Orion Network (aka VLAN 13)
  •  Defined a DHCP server for the Orion Network (aka VLAN 13)
  •  Connected servers to router configured to use DHCP and VLAN 13.
  •  Servers reporting DHCP errors, sometimes getting an IP, but often reporting issues.
  •  Configured server to use static IP addresses 172.16.13.2, 172.16.13.3 and 172.16.13.4. 
  •  Verify connection works by pining each server from router. This was done in parallel. Everything seemed ok.
  •  At home configure L2TP VPN on OS X 10.8.3.
  •  Connect to Sophos UTM 110 using VPN on OS X from home.
  •  Connect to servers over VPN from home.  Intermittent issues; connection timeouts and disconnected when working on multiple machines at the same time.
  •  Open three terminal windows in OS X 10.8.3 and ping 172.16.13.2, 172.16.13.3 and 172.16.13.4 in parallel.  Seems I can only ping to one device at a time, the other time out [Request timeout for icmp_seq 739]. Leaving it running for a while indicates that if ping works for one server, it fails for the other two. Every now and then, ping will start working for another server and then timeout on the one where it worked.
  • SSH into each server (problematic due to intermitted disconnects)
  • From within the SSH session, ping another server. Ping fails.
  • From within the SSH session, ping router. Ping succeeds.
[/LIST]

At this stage, no traffic to the internet is permitted, so I didn't even bother to ping Google or another external site.  

Questions:
[LIST=1]
  • Is creating a bridge to support a VLAN across eth0, eth2 and eth3 the right way to do this?  It would have been easier if I could just specify the "Orion Network" to be spanning eth0, eth2 and eth3 like some other routers. But it doesn't seem to be possible using Sophos UTM.
  • If creating a bridge is the right way to achieve this, is there something I'm missing configuration wise that prevents all three devices from being accessed at the same time (aka ping all 3 without time outs)
  • If creating a bridge isn't the right way to achieve this, then how does one support a VLAN across multiple interfaces?
[/LIST]

I know that usually one will connect another switch to eth0 which takes care of the VLAN, but at this stage I do not have enough space at the data centre to add another switch. In essence, I was hoping the Sophos UTM would be sufficient. 

Sincerely,
Werner


This thread was automatically locked due to age.
Parents
  • Here's the routing table. I did obfuscate the first portion of the IP address (aka the yy and xx you see), since access to this forum is public. This is where my knowledge of networking is getting me into trouble; not sure what this means.

    default via yy.19.86.1 dev eth1  table 200  proto kernel onlink 
    default via yy.19.86.1 dev eth1  table default  proto kernel  metric 20 onlink 
    10.242.3.2 dev ppp0  proto kernel  scope link  src 10.242.3.1 
    xx.209.67.0/24 dev eth1  proto kernel  scope link  src xx.209.67.107 
    127.0.0.0/8 dev lo  scope link 
    172.16.13.0/24 dev br0.13  proto kernel  scope link  src 172.16.13.1 
    yy.19.85.0/24 dev eth1  proto kernel  scope link  src yy.19.85.80 
    yy.19.86.0/24 dev eth1  proto kernel  scope link  src yy.19.86.20 
    local 10.242.3.1 dev ppp0  table local  proto kernel  scope host  src 10.242.3.1 
    broadcast xx.209.67.0 dev eth1  table local  proto kernel  scope link  src xx.209.67.107 
    local xx.209.67.104 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.107 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.108 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.137 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.138 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.179 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    broadcast xx.209.67.255 dev eth1  table local  proto kernel  scope link  src xx.209.67.107 
    broadcast 127.0.0.0 dev lo  table local  proto kernel  scope link  src 127.0.0.1 
    local 127.0.0.0/8 dev lo  table local  proto kernel  scope host  src 127.0.0.1 
    local 127.0.0.1 dev lo  table local  proto kernel  scope host  src 127.0.0.1 
    broadcast 127.255.255.255 dev lo  table local  proto kernel  scope link  src 127.0.0.1 
    broadcast 172.16.13.0 dev br0.13  table local  proto kernel  scope link  src 172.16.13.1 
    local 172.16.13.1 dev br0.13  table local  proto kernel  scope host  src 172.16.13.1 
    broadcast 172.16.13.255 dev br0.13  table local  proto kernel  scope link  src 172.16.13.1 
    broadcast yy.19.85.0 dev eth1  table local  proto kernel  scope link  src yy.19.85.80 
    local yy.19.85.80 dev eth1  table local  proto kernel  scope host  src yy.19.85.80 
    broadcast yy.19.85.255 dev eth1  table local  proto kernel  scope link  src yy.19.85.80 
    broadcast yy.19.86.0 dev eth1  table local  proto kernel  scope link  src yy.19.86.20 
    local yy.19.86.20 dev eth1  table local  proto kernel  scope host  src yy.19.86.20 
    broadcast yy.19.86.255 dev eth1  table local  proto kernel  scope link  src yy.19.86.20 
    unreachable default dev lo  table unspec  proto kernel  metric 4294967295  error -101
    unreachable default dev lo  table unspec  proto kernel  metric 4294967295  error -101
    local ::1 via :: dev lo  table local  proto none  metric 0 
    unreachable default dev lo  table unspec  proto kernel  metric 4294967295  error -101

    Running ifconfig on the UTM shows the following:

    br0       Link encap:Ethernet  HWaddr 00:1A:8C:13:61:C8  
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:182 errors:0 dropped:0 overruns:0 frame:0
              TX packets:299 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:13502 (13.1 Kb)  TX bytes:27846 (27.1 Kb)

    br0.13    Link encap:Ethernet  HWaddr 00:1A:8C:13:61:C8  
              inet addr:172.16.13.1  Bcast:172.16.13.255  Mask:255.255.255.0
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:182 errors:0 dropped:27 overruns:0 frame:0
              TX packets:299 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:13502 (13.1 Kb)  TX bytes:27846 (27.1 Kb)

    eth0      Link encap:Ethernet  HWaddr 00:1A:8C:13:61:C8  
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:58 errors:0 dropped:0 overruns:0 frame:0
              TX packets:118 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:5578 (5.4 Kb)  TX bytes:10984 (10.7 Kb)
              Interrupt:19 Memory:febe0000-fec00000 

    eth1      Link encap:Ethernet  HWaddr 00:1A:8C:13:61:C9  
              inet addr:yy.19.86.20  Bcast:yy.19.86.255  Mask:255.255.255.0
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:258992 errors:0 dropped:0 overruns:0 frame:0
              TX packets:8671 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:50934665 (48.5 Mb)  TX bytes:6591102 (6.2 Mb)
              Interrupt:18 Memory:feae0000-feb00000 

    eth2      Link encap:Ethernet  HWaddr 00:1A:8C:13:61:CA  
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:61 errors:0 dropped:0 overruns:0 frame:0
              TX packets:80 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:5820 (5.6 Kb)  TX bytes:7032 (6.8 Kb)
              Interrupt:17 Memory:fe9e0000-fea00000 

    eth3      Link encap:Ethernet  HWaddr 00:1A:8C:13:61:CB  
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:63 errors:0 dropped:0 overruns:0 frame:0
              TX packets:193 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:6108 (5.9 Kb)  TX bytes:18682 (18.2 Kb)
              Interrupt:16 Memory:fe8e0000-fe900000 

    lo        Link encap:Local Loopback  
              inet addr:127.0.0.1  Mask:255.0.0.0
              inet6 addr: ::1/128 Scope:Host
              UP LOOPBACK RUNNING  MTU:65536  Metric:1
              RX packets:93252 errors:0 dropped:0 overruns:0 frame:0
              TX packets:93252 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:20209907 (19.2 Mb)  TX bytes:20209907 (19.2 Mb)

    ppp0      Link encap[:P]oint-to-Point Protocol  
              inet addr:10.242.3.1  P-t-P:10.242.3.2  Mask:255.255.255.255
              UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1380  Metric:1
              RX packets:23 errors:0 dropped:0 overruns:0 frame:0
              TX packets:4 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:3 
              RX bytes:2576 (2.5 Kb)  TX bytes:46 (46.0 b)

    Running tcpdump now.
Reply
  • Here's the routing table. I did obfuscate the first portion of the IP address (aka the yy and xx you see), since access to this forum is public. This is where my knowledge of networking is getting me into trouble; not sure what this means.

    default via yy.19.86.1 dev eth1  table 200  proto kernel onlink 
    default via yy.19.86.1 dev eth1  table default  proto kernel  metric 20 onlink 
    10.242.3.2 dev ppp0  proto kernel  scope link  src 10.242.3.1 
    xx.209.67.0/24 dev eth1  proto kernel  scope link  src xx.209.67.107 
    127.0.0.0/8 dev lo  scope link 
    172.16.13.0/24 dev br0.13  proto kernel  scope link  src 172.16.13.1 
    yy.19.85.0/24 dev eth1  proto kernel  scope link  src yy.19.85.80 
    yy.19.86.0/24 dev eth1  proto kernel  scope link  src yy.19.86.20 
    local 10.242.3.1 dev ppp0  table local  proto kernel  scope host  src 10.242.3.1 
    broadcast xx.209.67.0 dev eth1  table local  proto kernel  scope link  src xx.209.67.107 
    local xx.209.67.104 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.107 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.108 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.137 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.138 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    local xx.209.67.179 dev eth1  table local  proto kernel  scope host  src xx.209.67.107 
    broadcast xx.209.67.255 dev eth1  table local  proto kernel  scope link  src xx.209.67.107 
    broadcast 127.0.0.0 dev lo  table local  proto kernel  scope link  src 127.0.0.1 
    local 127.0.0.0/8 dev lo  table local  proto kernel  scope host  src 127.0.0.1 
    local 127.0.0.1 dev lo  table local  proto kernel  scope host  src 127.0.0.1 
    broadcast 127.255.255.255 dev lo  table local  proto kernel  scope link  src 127.0.0.1 
    broadcast 172.16.13.0 dev br0.13  table local  proto kernel  scope link  src 172.16.13.1 
    local 172.16.13.1 dev br0.13  table local  proto kernel  scope host  src 172.16.13.1 
    broadcast 172.16.13.255 dev br0.13  table local  proto kernel  scope link  src 172.16.13.1 
    broadcast yy.19.85.0 dev eth1  table local  proto kernel  scope link  src yy.19.85.80 
    local yy.19.85.80 dev eth1  table local  proto kernel  scope host  src yy.19.85.80 
    broadcast yy.19.85.255 dev eth1  table local  proto kernel  scope link  src yy.19.85.80 
    broadcast yy.19.86.0 dev eth1  table local  proto kernel  scope link  src yy.19.86.20 
    local yy.19.86.20 dev eth1  table local  proto kernel  scope host  src yy.19.86.20 
    broadcast yy.19.86.255 dev eth1  table local  proto kernel  scope link  src yy.19.86.20 
    unreachable default dev lo  table unspec  proto kernel  metric 4294967295  error -101
    unreachable default dev lo  table unspec  proto kernel  metric 4294967295  error -101
    local ::1 via :: dev lo  table local  proto none  metric 0 
    unreachable default dev lo  table unspec  proto kernel  metric 4294967295  error -101

    Running ifconfig on the UTM shows the following:

    br0       Link encap:Ethernet  HWaddr 00:1A:8C:13:61:C8  
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:182 errors:0 dropped:0 overruns:0 frame:0
              TX packets:299 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:13502 (13.1 Kb)  TX bytes:27846 (27.1 Kb)

    br0.13    Link encap:Ethernet  HWaddr 00:1A:8C:13:61:C8  
              inet addr:172.16.13.1  Bcast:172.16.13.255  Mask:255.255.255.0
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:182 errors:0 dropped:27 overruns:0 frame:0
              TX packets:299 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:13502 (13.1 Kb)  TX bytes:27846 (27.1 Kb)

    eth0      Link encap:Ethernet  HWaddr 00:1A:8C:13:61:C8  
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:58 errors:0 dropped:0 overruns:0 frame:0
              TX packets:118 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:5578 (5.4 Kb)  TX bytes:10984 (10.7 Kb)
              Interrupt:19 Memory:febe0000-fec00000 

    eth1      Link encap:Ethernet  HWaddr 00:1A:8C:13:61:C9  
              inet addr:yy.19.86.20  Bcast:yy.19.86.255  Mask:255.255.255.0
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:258992 errors:0 dropped:0 overruns:0 frame:0
              TX packets:8671 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:50934665 (48.5 Mb)  TX bytes:6591102 (6.2 Mb)
              Interrupt:18 Memory:feae0000-feb00000 

    eth2      Link encap:Ethernet  HWaddr 00:1A:8C:13:61:CA  
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:61 errors:0 dropped:0 overruns:0 frame:0
              TX packets:80 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:5820 (5.6 Kb)  TX bytes:7032 (6.8 Kb)
              Interrupt:17 Memory:fe9e0000-fea00000 

    eth3      Link encap:Ethernet  HWaddr 00:1A:8C:13:61:CB  
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:63 errors:0 dropped:0 overruns:0 frame:0
              TX packets:193 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:6108 (5.9 Kb)  TX bytes:18682 (18.2 Kb)
              Interrupt:16 Memory:fe8e0000-fe900000 

    lo        Link encap:Local Loopback  
              inet addr:127.0.0.1  Mask:255.0.0.0
              inet6 addr: ::1/128 Scope:Host
              UP LOOPBACK RUNNING  MTU:65536  Metric:1
              RX packets:93252 errors:0 dropped:0 overruns:0 frame:0
              TX packets:93252 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:20209907 (19.2 Mb)  TX bytes:20209907 (19.2 Mb)

    ppp0      Link encap[:P]oint-to-Point Protocol  
              inet addr:10.242.3.1  P-t-P:10.242.3.2  Mask:255.255.255.255
              UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1380  Metric:1
              RX packets:23 errors:0 dropped:0 overruns:0 frame:0
              TX packets:4 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:3 
              RX bytes:2576 (2.5 Kb)  TX bytes:46 (46.0 b)

    Running tcpdump now.
Children
No Data