Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 15 replies
  • Subscribers 1 subscriber
  • Views 8295 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Very high fullreqtime

ulfthomas
Hi all.

I discovered Sophos UTM just a few weeks back and having tested most of the Open Source firewalls out there I immediately tried it out. And now it sits neatly protecting my home network.

I must admit I loved it from the first second and kudos to all dev's for their job on this product. It really both looks, and feels, like a quality product.

Running the latest version (9.201) I do have a question regarding performance issues when having Web Filtering enabled. The setup:

Internet -> Sophos 
      Nic 1: Local Network SSID (192.168.1.0) (No proxy, no performance issues)
      Nic 2: Guest SSID (192.168.5.0)  (Transparent proxy, performance issues)

This setup runs virtually on ESX4.1 and both Nics are VMX3 connected to a vswitch which each have a dedicated Nic on the host.

I have implemented a local cat cache to speed things up but that had little effect. I have also tried bypassing the proxy by setting it to standard mode which results in equal performance as with Nic 1. From what I can gather the fullreqtime is extremely high but since the other timings does not reveal anything I don't know where to look.

The first entry is from opening appstore on my Ipad and the second is opening the web page of a Norwegian bank: 

2014:04:25-11:55:16 router httpproxy[23075]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="192.168.5.109" dstip="2.23.146.217" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="35466" request="0xff36880" url="itunes.apple.com" exceptions="" error="" authtime="0" dnstime="1133" cattime="69" avscantime="0" fullreqtime="36809346" device="0" auth="0" category="112,129" reputation="neutral" categoryname="Entertainment,Media Downloads"


2014:04:25-12:06:14 router httpproxy[23075]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="192.168.5.109" dstip="193.88.186.180" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="3794" request="0xfb3d320" url="www.nordea.no" exceptions="" error="" authtime="0" dnstime="7" cattime="55" avscantime="0" fullreqtime="30690667" device="0" auth="0" category="114" reputation="trusted" categoryname="Finance/Banking"


The Application Control log does not reveal anything, the IPS log is not logging anything at the above timings and the firewall log does show a lot of RST's and ACK FIN/ACK PSH FIN on port 443. The source being both the internal IP of my mail server, the WAN IP or other external source.

Not sure if this is related.

Any suggestions on how to troubleshoot this further?

Ulf Thomas


This thread was automatically locked due to age.
  • 0 in reply to ulfthomas
    Hahaha. Love the child analogy. [[[:)]]]

    cff-cache: After implementing this I drastically reduced the categorization look-up. My Internet hookup is a 4mbit/500kbit adsl link so anything is done to save time waiting on this poor line. [;)]

    CPU reservations: I have little to no resource contention on my host mostly due to the low utilization of the various vm's, but I will for sure implement a CPU reservation to see how it affects the proxy performance.

    The CPU's are Xeon(R) CPU E5504 @ 2.00GHz.

    As my data disk has been assigned to little disk space I have to re install anyways so I will for sure follow your advice on that.


    The new proxy in 9.2 has it's own caching and uses a faster lookup database than cff.  If you are forcing cff lookups by using the cff cache you are hampering your connections lookup performance not helping it.  The new proxy cache learns your usage and only caches the most used lookups.  This accelerates the highest percentage of your proxy lookups while preserving ram and other system resources.  Turn off the cff lookup cache and let the system do it's own thing.  A large amount of improvement does come with the new system it just needs a bit of time.  I've removed all of my sheel based tweaks now from my 9.2 systems because they aren't needed.  It's really about having enough ram(of which 4 gigs for you should be plenty) and cpu power(of which your xeon host and throwing 4 ghz at the vm) should jore than suffice..[[[:)]]]  BTW make sure you do the cff removal and reboot BEFORE you make a config backup or you are bringing that config into a new install and defeating the purpose of the new installation..[[[:)]]]
  • 0
    Please note that the new categorization described by William is only enabled if you are have Endpoint Web Control turned on, of if you run the following command line:
    cc set http use_sxl_urid 1
  • 0
    Good point William to remove cache before executing a backup. 

    So Michael - should I disable the ccf cache, reboot and then execute that command?
  • 0
    yes...actually instead of using the command line just turn on endpoint protection then enable endpoint web control..two mouse clicks....it's much easier..[:)]
  • 0
    Sweet. 

    Thank you guys for your assistance. I will report back.

    Thomas