Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 10 replies
  • Subscribers 2 subscribers
  • Views 5318 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Slow inter-vlan performance

jasogle
My problem:
 When copying files between vlans routed through sophos-utm my speed is half of what I normally get copying between machines on the same vlan.

My setup:
 ESXi host using sophos-utm as a "router on a couple of sticks" (multiple physical ports being used). I have three physical ports, mapped to three virtual switches with three port groups. Port group 1 is coming in from my internet router and does not have any vlans (vlan 0). Port group 2 accepts all vlans (vlan 4095). Same for port group 3 - all vlans accepted.
 sophos-utm - eth0.401, eth1.420, eth2 goes to the internet. Currently the sophos-utm vm has 4vCPU's, 4GB of ram, and 60G drive.
 Cisco SG200-26 Layer 2 only switch. Port going to esxi port group 2 is tagged with vlan 401. Port going to esxi port group 3 is tagged with vlan 420.

I can duplicate the problem using standard windows file copy progress dialog, and using iPerf. All three vNICs are e1000. I I also tried running sophos-utm outside of the ESXi environment by loading onto a spare hard drive in the esxi host and booting straight to sophos-utm. Same results, so it's probably safe to rue out any issues with the open vm tools drivers. 

Since My vif's are on separate layer 2 switch ports, I would expect to get the 1GB wirespeed between vlan's but only get about half that.

I'm thinking this may just be a limitation inherit with software-based routing, but I'm not seeing any resources being stressed while performing the tests, and I'm getting half the wire-speed consistently as if I'm connected at 500Mbs instead of 1Gbs. Everything is auto-neg all the way through and all are reporting connected at 1000Mbs/Full.

Any more details needed, please let me know and thanks in advance.


This thread was automatically locked due to age.
  • 0
    Hi, jasogle, and welcome to the User BB!

    If you search a bit here, you will see that the recommendation is to install from ISO (not the virtual appliance) and to use VMXNET3 vNICs so you can use jumbo frames.  If you didn't do that, then start there.

    What happens when you disable Intrusion Prevention and Application Control?

    Cheers - Bob
  • 0 in reply to BAlfson
    Thanks for the suggestion. I've tested both virtual appliance and ISO install with vmxnet3 and e1000, but haven't tried jumbo frames. I'll try that and update.
  • 0
    Hi,

    1. Please run 'top' and see if something is using a log of CPU (e.g. Snort or afcd).
    Then try disabling IPS and Application Detection as Bob recommended.

    2. UTM Version #?

    3. physical hardware specifications? Include CPUs & NICs.

    I posted about my Atom system's performance, with Intel gigE NICs at
    https://community.sophos.com/products/unified-threat-management/astaroorg/f/54/t/40032
    I get 440mbps with iPerf between a couple of linux boxes, but a better firewall motherboard and PCIe NICs may do better.

    My understanding is that Jumbo Frames shouldn't be necessary with modern NICs, but it's worth a try.

    Barry
  • 0 in reply to BarryG
    Thanks for the help and quick replies so far.

    I downloaded 9.101-12.1 last night. I was previously testing with 9.004-33.1. I installed from ISO as I usually do, using vmxnet3 vnic's. I have jumbo frames all the way through, proven by using ping with -f -l 8000 switches. For initial testing I'm running out of the box as-is with no scanning enabled, and only one firewall rule, any<>any, any service. Top is "topping out" (excuse the pun, but couldn't resist) cpu at 10% max. Still only seeing half wire speed when using iPerf.

    Host specs:
    Intel Core2 Quad, Q6600
    Intewebs physical nic - Broadcom NetXtreme BCM5703
    Workstations physical nic - Intel 82546EB (dual-port Gb)
    Servers physical nic - Intel 82546EB (dual-port Gb)
  • 0
    What happens if you use only two vCPUs?

    Cheers - Bob
  • 0 in reply to BAlfson
    same results with 2vCPU's
  • 0
    Top still at 10%?  What about a single vCPU?

    Cheers - Bob
  • 0
    Hi, are the firewall NICs PCI or PCI-X (and in a PCI-X slot) or PCIe?

    Standard PCI is limited to 133MBps (32bits * 33MHz); cut that at least in half (66MBps) if you are using 2 PCI NICs at the same time (unless the board has multiple PCI controllers, only likely if it's a server board).
    66MBps = 528mbps.

    That could explain the problem.

    If the firewall has an embedded NIC (the Broadcom?) try moving it to one of the LANs instead of the internet connection.
    It may still be PCI though; it depends on the how the motherboard and chipset are configured.

    Moving to a newer motherboard and PCIe NICs should help.

    Barry
  • 0 in reply to BarryG
    PCI bus never, and I say again never even came close to crossing my mind... Thanks again for everyone's help and quick responses. Now, to spend some money or live with it... Thanks, again.
  • 0
    Depending on the motherboard and chipset, the onboard NIC may not be on the PCI bus, in which case using that NIC would help.

    Barry