Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 41 replies
  • Subscribers 0 subscribers
  • Views 23897 views
  • Users 0 members are here
Options
Suggested

[9.075][BUG] Local Content Database is not working

Billybob
Hi, since local content database is not a GUI supported feature, I am submitting this as info but I am hoping that this great feature is not being phased out[:S]
I have been running my beta VM without making any changes via command line to keep the system as close to a supported system as possible. However today I decided to load the local content database to run a few latency tests. But after trying multiple times, the database doesn't load properly and the sfcontrol file gets deleted.
I started the download process by running
cc set http sc_local_db mem
and restarted proxy by 
/var/mdw/scripts/httpproxy restart

The file loads all the way and then gets deleted

gatekeeper:/var/storage/chroot-http/var/pattern/sfcontrol # l -h
total 378M
drwxr-xr-x 2 httpproxy root      4.0K Mar 10 00:23 ./
drwxr-xr-x 7 httpproxy root      4.0K Mar  4 09:50 ../
-rw------- 1 httpproxy httpproxy 378M Mar 10 00:27 sfcontrol

and then suddenly the file disappears
gatekeeper:/var/storage/chroot-http/var/pattern/sfcontrol # l -h
total 8.0K
drwxr-xr-x 2 httpproxy root 4.0K Mar 10 00:27 ./
drwxr-xr-x 7 httpproxy root 4.0K Mar  4 09:50 ../

A screenshot of progressive loading of the file is shown below by getting directory listing every few seconds. Notice that the file loads all the way and then disappears[:S]
Regards
Bill
Parents
  • 0
    When using SXL the vs local db there is the potential (worse case) that each page open to a new server is about 200ms slower than a local db.  It should have no impact on bandwidth or add seconds to load speed.  There is another process running but the extra CPU load is minimal, you shouldn't be CPU bound.

    To use CFF cloud: sc_local_db 0, use_sxl_urid 0
    To use local db: sc_local_db 1, use_sxl_urid 0
    To use SXL: sc_local_db 0, use_sxl_urid 1

    If you turn them both on then you will use local db (but also take the resource hit from running but not using SXL).


    I'm not CPU bound the performance hit is strictly the lookup delays...when you are on a large site all of those links generate lookups.. 200 msec x50 is noticeable...when the link are even more dense like drudge the lookup latencies really pile up....multiply that by 36 pages and performance craters as I've shown note than a few times.  Local db whether disk at an average of 29 msec or ram at an average of less than 1 msec is very noticeable.  That also doesn't count the internet latency round trip using the cloud platform.  I wish astaro had honored their promise to make local db officially supported...

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Reply
  • 0
    When using SXL the vs local db there is the potential (worse case) that each page open to a new server is about 200ms slower than a local db.  It should have no impact on bandwidth or add seconds to load speed.  There is another process running but the extra CPU load is minimal, you shouldn't be CPU bound.

    To use CFF cloud: sc_local_db 0, use_sxl_urid 0
    To use local db: sc_local_db 1, use_sxl_urid 0
    To use SXL: sc_local_db 0, use_sxl_urid 1

    If you turn them both on then you will use local db (but also take the resource hit from running but not using SXL).


    I'm not CPU bound the performance hit is strictly the lookup delays...when you are on a large site all of those links generate lookups.. 200 msec x50 is noticeable...when the link are even more dense like drudge the lookup latencies really pile up....multiply that by 36 pages and performance craters as I've shown note than a few times.  Local db whether disk at an average of 29 msec or ram at an average of less than 1 msec is very noticeable.  That also doesn't count the internet latency round trip using the cloud platform.  I wish astaro had honored their promise to make local db officially supported...

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Children
No Data
Share Feedback
×

Submitted a Tech Support Case lately from the Support Portal?