Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 15 replies
  • Subscribers 1 subscriber
  • Views 8299 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Very high fullreqtime

ulfthomas
Hi all.

I discovered Sophos UTM just a few weeks back and having tested most of the Open Source firewalls out there I immediately tried it out. And now it sits neatly protecting my home network.

I must admit I loved it from the first second and kudos to all dev's for their job on this product. It really both looks, and feels, like a quality product.

Running the latest version (9.201) I do have a question regarding performance issues when having Web Filtering enabled. The setup:

Internet -> Sophos 
      Nic 1: Local Network SSID (192.168.1.0) (No proxy, no performance issues)
      Nic 2: Guest SSID (192.168.5.0)  (Transparent proxy, performance issues)

This setup runs virtually on ESX4.1 and both Nics are VMX3 connected to a vswitch which each have a dedicated Nic on the host.

I have implemented a local cat cache to speed things up but that had little effect. I have also tried bypassing the proxy by setting it to standard mode which results in equal performance as with Nic 1. From what I can gather the fullreqtime is extremely high but since the other timings does not reveal anything I don't know where to look.

The first entry is from opening appstore on my Ipad and the second is opening the web page of a Norwegian bank: 

2014:04:25-11:55:16 router httpproxy[23075]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="192.168.5.109" dstip="2.23.146.217" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="35466" request="0xff36880" url="itunes.apple.com" exceptions="" error="" authtime="0" dnstime="1133" cattime="69" avscantime="0" fullreqtime="36809346" device="0" auth="0" category="112,129" reputation="neutral" categoryname="Entertainment,Media Downloads"


2014:04:25-12:06:14 router httpproxy[23075]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="192.168.5.109" dstip="193.88.186.180" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="3794" request="0xfb3d320" url="www.nordea.no" exceptions="" error="" authtime="0" dnstime="7" cattime="55" avscantime="0" fullreqtime="30690667" device="0" auth="0" category="114" reputation="trusted" categoryname="Finance/Banking"


The Application Control log does not reveal anything, the IPS log is not logging anything at the above timings and the firewall log does show a lot of RST's and ACK FIN/ACK PSH FIN on port 443. The source being both the internal IP of my mail server, the WAN IP or other external source.

Not sure if this is related.

Any suggestions on how to troubleshoot this further?

Ulf Thomas


This thread was automatically locked due to age.
  • 0
    My guess is that you have HTTPS set to URL Filter Only.  That means the proxy only sees the start and end of the TCP connection - the dozen or hundreds of requests inside are invisible to it.  So in this case for HTTPS the fullreqtime is from the CONNECT to the tcp close.

    Long fullreqtime for https is normal.
  • 0
    Michael,

    A good point indeed. I've browsed so many logs that I was blinded and thought they were http requests.

    There is however a problem - because the experience on my ipad and laptop when connected to the guest SSID is very poor. The performance is slow often timing out and when my kids play games on their ipad on the same network they are more often than not disconnected from the games.
  • 0
    What hardware do you have running ESXi and what CPU & RAM config do you have the UTM guest set with?

    I run 9.201 with two vCPU's and 6GB RAM allocation and there is a noticeable but minor difference between the Web Filtering on and off (I use transparent mode). Mainly websites just feel a bit less responsive then usual, something I've adjusted to and am comfortable with now.

    The host, for reference, is a Core i7 @ 3.07GHz w/ 24GB RAM onboard. I also share resources with several Windows Server 08r2 and Linux vm's.
  • 0 in reply to TheDrew
    What hardware do you have running ESXi and what CPU & RAM config do you have the UTM guest set with?

    I run 9.201 with two vCPU's and 6GB RAM allocation and there is a noticeable but minor difference between the Web Filtering on and off (I use transparent mode). Mainly websites just feel a bit less responsive then usual, something I've adjusted to and am comfortable with now.

    The host, for reference, is a Core i7 @ 3.07GHz w/ 24GB RAM onboard. I also share resources with several Windows Server 08r2 and Linux vm's.


    you have two vcpus but how many ghz do you have assigned to the vm?  if it's 2.0 ghz or slower you'll notice it.  I have xeon based host and right now i have one core(3.4 ghz) reserved for the vm with up to 3 cores available in a burst..[:)]  This is spread across 4 vcpus.
  • 0
    Thanks for assisting with this.

    My server is a ML360 G6:
    - 2 x Intel(R) Xeon(R) CPU E5504  @ 2.00GHz (total of 8 cores)
    - 28GB RAM

    The UTM has 4GB of memory assigned and running 2 vcpus. Resources are shared with a domain controller, an Exchange server and a Linux server - all in a home setup scenario with little to low resource consumption.
  • 0 in reply to TheDrew
    What hardware do you have running ESXi and what CPU & RAM config do you have the UTM guest set with?

    I run 9.201 with two vCPU's and 6GB RAM allocation and there is a noticeable but minor difference between the Web Filtering on and off (I use transparent mode). Mainly websites just feel a bit less responsive then usual, something I've adjusted to and am comfortable with now.

    The host, for reference, is a Core i7 @ 3.07GHz w/ 24GB RAM onboard. I also share resources with several Windows Server 08r2 and Linux vm's.


    As i stated earlier I have 4 GB assigned to UTM, but in the Admin console of Sophos the reported usage of memory is 34% of this. If I log on to the console and run 'top' the reported memory usage is 3.7 GB which suggest a utilization in the neighborhood of 85%. Question being then - should I increase it's RAM?

    Furthermore none of the performance investigations I have done suggests that the physical server is under too high load (http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2001003)
  • 0
    how many ghz do you have assigned to the utm vm?  IN vmware you can run 8 vcpus but only give it 500 mhz....this is one thing many new vmware admins miss..you need to set a hard ghz reservation for the UTM of at least 3ghz total for the vm.
  • 0
    William,

    I run in unlimited, zero reservation mode for all of my vm's. Which should imply that Vmware handles the resourcing?

    I seem to have missed the point of introducing hard limits? Would'nt this create an unmanageable scenario in the end?
  • 0 in reply to ulfthomas
    William,

    I run in unlimited, zero reservation mode for all of my vm's. Which should imply that Vmware handles the resourcing?

    I seem to have missed the point of introducing hard limits? Would'nt this create an unmanageable scenario in the end?



    the point of the hard limits is to assure cpu sensitive things like UTM always have the proper ghz available to them.  UTM is highly ghz sensitive as well as processing power sensitive.    Since you have 15 effective useable ghz i would set a hard reservation of 4 ghz to your vm.  also disable the cff cache and let the new http proxy do it's own caching which it does better than the old cff system did anyway.   

    I would also first as i said before disable the cff cache and then reboot.  If you have done any other command line tweaks get rid of them as well.  I would then make a config backup and reinstall from ground zero using the latest iso.  This way you have a truly clean install.  

    In my setup which i use hyper-v i have one full cpu(3.4 ghz) reserved for the utm vm with the ability to burst to 3 cores of usage on the host.   Because i have enough ghz available and ram available and i have it running on a RAID-1 mirror nearly on it's own(it shares with my SUM vm...which is nearly zero i/o) I have no resource contention at all for this vm.  speedtests with http on and off are nearly identical(about 250 kilobits in difference at most) except for http pings(which is a known artifact of the http proxy), there's really no difference in the "feel" of my browsing.  REsource contention=bad and letting the hypervisor manage things without guidance is like letting a child run amock with no discipline.  None of my vm are allowed unlimited run let the hypervisor do it's thing because it's not going to work out well in the end.  You can do a bit of oversubbing if you do it right but that's another posting..[[:)]]  A good setup will go a long way towards solving many of the proxy performance problems that get posted on here..[[:)]]
  • 0
    Hahaha. Love the child analogy. [:)]

    cff-cache: After implementing this I drastically reduced the categorization look-up. My Internet hookup is a 4mbit/500kbit adsl link so anything is done to save time waiting on this poor line. [;)]

    CPU reservations: I have little to no resource contention on my host mostly due to the low utilization of the various vm's, but I will for sure implement a CPU reservation to see how it affects the proxy performance.

    The CPU's are Xeon(R) CPU E5504 @ 2.00GHz.

    As my data disk has been assigned to little disk space I have to re install anyways so I will for sure follow your advice on that.