Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 41 replies
  • Subscribers 0 subscribers
  • Views 23881 views
  • Users 0 members are here
Options
Suggested

[9.075][BUG] Local Content Database is not working

Billybob
Hi, since local content database is not a GUI supported feature, I am submitting this as info but I am hoping that this great feature is not being phased out[:S]
I have been running my beta VM without making any changes via command line to keep the system as close to a supported system as possible. However today I decided to load the local content database to run a few latency tests. But after trying multiple times, the database doesn't load properly and the sfcontrol file gets deleted.
I started the download process by running
cc set http sc_local_db mem
and restarted proxy by 
/var/mdw/scripts/httpproxy restart

The file loads all the way and then gets deleted

gatekeeper:/var/storage/chroot-http/var/pattern/sfcontrol # l -h
total 378M
drwxr-xr-x 2 httpproxy root      4.0K Mar 10 00:23 ./
drwxr-xr-x 7 httpproxy root      4.0K Mar  4 09:50 ../
-rw------- 1 httpproxy httpproxy 378M Mar 10 00:27 sfcontrol

and then suddenly the file disappears
gatekeeper:/var/storage/chroot-http/var/pattern/sfcontrol # l -h
total 8.0K
drwxr-xr-x 2 httpproxy root 4.0K Mar 10 00:27 ./
drwxr-xr-x 7 httpproxy root 4.0K Mar  4 09:50 ../

A screenshot of progressive loading of the file is shown below by getting directory listing every few seconds. Notice that the file loads all the way and then disappears[:S]
Regards
Bill
  • 0 in reply to Michael Dunn
    Since you guys seem to be interested in this topic...

    There are astaro cloud lookup servers called cff servers.

    There are also Sophos cloud lookup servers called sxl servers.  They are in use by other Sophos products (such as the endpoint).

    The sxl servers are faster than cff servers, and provide much better local caching which results in a lot fewer lookups.

    When you are using the UTM with Endpoints and turn on Endpoint Web Protection, the UTM will start using the sxl cloud servers rather than the cff cloud servers.

    If you are using the cff servers you should see a performance improvement after switching the the sxl servers.

    In 9.1 support for the local database is unchanged.  It is done using the command line only.


    if we aren't using the endpoint protection is there a way to force the proxy to the sxl servers?

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    ok let's see how this works compared to cff..will the http proxy ping the sxl servers in the logs?

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    SXL will not ping the servers in the log.  The mechanism for going to the closest/fastest server is more advanced.  With CFF there are a certain set number of servers out there.  With SXL it dynamically spins up more servers during the times of day and regions when the load is higher.

    Unfortunately, using SXL doesn't turn off the CFF ping.
  • 0
    well i've tried it and i can still tell the cloudy ones are slower in every way.  When using local db i can open up 36 tabs at once..get nearly 30 megabit bursts and have the pages open in about 10-15 seconds.  Bandwidth is lucky to hit 20 megabits and it takes a good 5-10 seconds longer to load.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    When using SXL the vs local db there is the potential (worse case) that each page open to a new server is about 200ms slower than a local db.  It should have no impact on bandwidth or add seconds to load speed.  There is another process running but the extra CPU load is minimal, you shouldn't be CPU bound.

    To use CFF cloud: sc_local_db 0, use_sxl_urid 0
    To use local db: sc_local_db 1, use_sxl_urid 0
    To use SXL: sc_local_db 0, use_sxl_urid 1

    If you turn them both on then you will use local db (but also take the resource hit from running but not using SXL).
  • 0
    When using SXL the vs local db there is the potential (worse case) that each page open to a new server is about 200ms slower than a local db.  It should have no impact on bandwidth or add seconds to load speed.  There is another process running but the extra CPU load is minimal, you shouldn't be CPU bound.

    To use CFF cloud: sc_local_db 0, use_sxl_urid 0
    To use local db: sc_local_db 1, use_sxl_urid 0
    To use SXL: sc_local_db 0, use_sxl_urid 1

    If you turn them both on then you will use local db (but also take the resource hit from running but not using SXL).


    I'm not CPU bound the performance hit is strictly the lookup delays...when you are on a large site all of those links generate lookups.. 200 msec x50 is noticeable...when the link are even more dense like drudge the lookup latencies really pile up....multiply that by 36 pages and performance craters as I've shown note than a few times.  Local db whether disk at an average of 29 msec or ram at an average of less than 1 msec is very noticeable.  That also doesn't count the internet latency round trip using the cloud platform.  I wish astaro had honored their promise to make local db officially supported...

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    William, can we take this to PM or email so we can discuss in greater depth.  Thanks.
  • 0
    William, can we take this to PM or email so we can discuss in greater depth.  Thanks.


    Noted.. [:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    In which version was the SXL lookups available when enabling Endpoint Protection?

    We're still running 9.004-34 on a UTM 425.  I've had to revert back to standard cloud lookups due to the local content database in "mem" mode would start to download the entire sfcontrol database every 10 minutes causing almost unusable internet access.

    Thanks.
  • 0
    In 9.1 Endpoint Protection is enhanced with a feature "Web Control".

    When you have Endpoint Protection and Web Control both turned on, it will use SXL.

    9.1 is currently in "soft release" with "general availability" in the next week or so.
Share Feedback
×

Submitted a Tech Support Case lately from the Support Portal?