Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 15 replies
  • Subscribers 1 subscriber
  • Views 8286 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Very high fullreqtime

ulfthomas
Hi all.

I discovered Sophos UTM just a few weeks back and having tested most of the Open Source firewalls out there I immediately tried it out. And now it sits neatly protecting my home network.

I must admit I loved it from the first second and kudos to all dev's for their job on this product. It really both looks, and feels, like a quality product.

Running the latest version (9.201) I do have a question regarding performance issues when having Web Filtering enabled. The setup:

Internet -> Sophos 
      Nic 1: Local Network SSID (192.168.1.0) (No proxy, no performance issues)
      Nic 2: Guest SSID (192.168.5.0)  (Transparent proxy, performance issues)

This setup runs virtually on ESX4.1 and both Nics are VMX3 connected to a vswitch which each have a dedicated Nic on the host.

I have implemented a local cat cache to speed things up but that had little effect. I have also tried bypassing the proxy by setting it to standard mode which results in equal performance as with Nic 1. From what I can gather the fullreqtime is extremely high but since the other timings does not reveal anything I don't know where to look.

The first entry is from opening appstore on my Ipad and the second is opening the web page of a Norwegian bank: 

2014:04:25-11:55:16 router httpproxy[23075]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="192.168.5.109" dstip="2.23.146.217" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="35466" request="0xff36880" url="itunes.apple.com" exceptions="" error="" authtime="0" dnstime="1133" cattime="69" avscantime="0" fullreqtime="36809346" device="0" auth="0" category="112,129" reputation="neutral" categoryname="Entertainment,Media Downloads"


2014:04:25-12:06:14 router httpproxy[23075]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="192.168.5.109" dstip="193.88.186.180" user="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="3794" request="0xfb3d320" url="www.nordea.no" exceptions="" error="" authtime="0" dnstime="7" cattime="55" avscantime="0" fullreqtime="30690667" device="0" auth="0" category="114" reputation="trusted" categoryname="Finance/Banking"


The Application Control log does not reveal anything, the IPS log is not logging anything at the above timings and the firewall log does show a lot of RST's and ACK FIN/ACK PSH FIN on port 443. The source being both the internal IP of my mail server, the WAN IP or other external source.

Not sure if this is related.

Any suggestions on how to troubleshoot this further?

Ulf Thomas


This thread was automatically locked due to age.
Parents
  • 0
    William,

    I run in unlimited, zero reservation mode for all of my vm's. Which should imply that Vmware handles the resourcing?

    I seem to have missed the point of introducing hard limits? Would'nt this create an unmanageable scenario in the end?
  • 0 in reply to ulfthomas
    William,

    I run in unlimited, zero reservation mode for all of my vm's. Which should imply that Vmware handles the resourcing?

    I seem to have missed the point of introducing hard limits? Would'nt this create an unmanageable scenario in the end?



    the point of the hard limits is to assure cpu sensitive things like UTM always have the proper ghz available to them.  UTM is highly ghz sensitive as well as processing power sensitive.    Since you have 15 effective useable ghz i would set a hard reservation of 4 ghz to your vm.  also disable the cff cache and let the new http proxy do it's own caching which it does better than the old cff system did anyway.   

    I would also first as i said before disable the cff cache and then reboot.  If you have done any other command line tweaks get rid of them as well.  I would then make a config backup and reinstall from ground zero using the latest iso.  This way you have a truly clean install.  

    In my setup which i use hyper-v i have one full cpu(3.4 ghz) reserved for the utm vm with the ability to burst to 3 cores of usage on the host.   Because i have enough ghz available and ram available and i have it running on a RAID-1 mirror nearly on it's own(it shares with my SUM vm...which is nearly zero i/o) I have no resource contention at all for this vm.  speedtests with http on and off are nearly identical(about 250 kilobits in difference at most) except for http pings(which is a known artifact of the http proxy), there's really no difference in the "feel" of my browsing.  REsource contention=bad and letting the hypervisor manage things without guidance is like letting a child run amock with no discipline.  None of my vm are allowed unlimited run let the hypervisor do it's thing because it's not going to work out well in the end.  You can do a bit of oversubbing if you do it right but that's another posting..[[:)]]  A good setup will go a long way towards solving many of the proxy performance problems that get posted on here..[[:)]]
Reply
  • 0 in reply to ulfthomas
    William,

    I run in unlimited, zero reservation mode for all of my vm's. Which should imply that Vmware handles the resourcing?

    I seem to have missed the point of introducing hard limits? Would'nt this create an unmanageable scenario in the end?



    the point of the hard limits is to assure cpu sensitive things like UTM always have the proper ghz available to them.  UTM is highly ghz sensitive as well as processing power sensitive.    Since you have 15 effective useable ghz i would set a hard reservation of 4 ghz to your vm.  also disable the cff cache and let the new http proxy do it's own caching which it does better than the old cff system did anyway.   

    I would also first as i said before disable the cff cache and then reboot.  If you have done any other command line tweaks get rid of them as well.  I would then make a config backup and reinstall from ground zero using the latest iso.  This way you have a truly clean install.  

    In my setup which i use hyper-v i have one full cpu(3.4 ghz) reserved for the utm vm with the ability to burst to 3 cores of usage on the host.   Because i have enough ghz available and ram available and i have it running on a RAID-1 mirror nearly on it's own(it shares with my SUM vm...which is nearly zero i/o) I have no resource contention at all for this vm.  speedtests with http on and off are nearly identical(about 250 kilobits in difference at most) except for http pings(which is a known artifact of the http proxy), there's really no difference in the "feel" of my browsing.  REsource contention=bad and letting the hypervisor manage things without guidance is like letting a child run amock with no discipline.  None of my vm are allowed unlimited run let the hypervisor do it's thing because it's not going to work out well in the end.  You can do a bit of oversubbing if you do it right but that's another posting..[[:)]]  A good setup will go a long way towards solving many of the proxy performance problems that get posted on here..[[:)]]
Children
No Data