Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 41 replies
  • Subscribers 0 subscribers
  • Views 23797 views
  • Users 0 members are here
Options
Suggested

[9.075][BUG] Local Content Database is not working

Billybob
Hi, since local content database is not a GUI supported feature, I am submitting this as info but I am hoping that this great feature is not being phased out[:S]
I have been running my beta VM without making any changes via command line to keep the system as close to a supported system as possible. However today I decided to load the local content database to run a few latency tests. But after trying multiple times, the database doesn't load properly and the sfcontrol file gets deleted.
I started the download process by running
cc set http sc_local_db mem
and restarted proxy by 
/var/mdw/scripts/httpproxy restart

The file loads all the way and then gets deleted

gatekeeper:/var/storage/chroot-http/var/pattern/sfcontrol # l -h
total 378M
drwxr-xr-x 2 httpproxy root      4.0K Mar 10 00:23 ./
drwxr-xr-x 7 httpproxy root      4.0K Mar  4 09:50 ../
-rw------- 1 httpproxy httpproxy 378M Mar 10 00:27 sfcontrol

and then suddenly the file disappears
gatekeeper:/var/storage/chroot-http/var/pattern/sfcontrol # l -h
total 8.0K
drwxr-xr-x 2 httpproxy root 4.0K Mar 10 00:27 ./
drwxr-xr-x 7 httpproxy root 4.0K Mar  4 09:50 ../

A screenshot of progressive loading of the file is shown below by getting directory listing every few seconds. Notice that the file loads all the way and then disappears[:S]
Regards
Bill
  • 0
    actually the request times add up quite a bit on modern websites.  each request takes 100 ms..on my site that's no big deal./..on a site like msnbc.com is significantly slows down the web experience.  Add multiple users to that and even caching only helps so much.  I wrote a long dissertation on these forums about how the local content filter just by design in terms of query latency reduction is a major player.  With the forum reorg all of the links i had to my long articles dont' work and i have to hunt for them now.  Even with a cloud response of sub 100 milliseconds all the request latencies add up using the cloudy one.  trust me the cloudy servers never stay less than 100 for long.. just look at your http proxy logs.  unless your cff server is both close and never loaded you'll see it..[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    ok here's a smaller condensed version:
    Local Content http database: put it on the disk if you have less than 2 gigs of ram..use ram if you have 3 gigs or more. The difference may not be apparent..until the cff database servers(which are "cloudy" have issues of some kind..and they do often. If you use a local cff cache you are effectively immune to inet connectivity issues slowing you up..here's how the cff works:
    1. you head to CNN.com International - Breaking, World, Business, Sports, Entertainment and Video News
    2. http proxy has to send that url to cff cloud...this is an automatic minimum 50 ms of delay(the average i see form three installs is 100 ms) to the request
    3. if cff cloud isn't overloaded you get responses reasonably quickly..if not you wait for the response..then it travels back to you(at least another 50 ms)
    4. If you pass cff muster you can finally go start fetching your content.
    5. client start seeing content.

    let's keep one thing in mind..this process is not done per page..but is done PER LINK in every page. These delays stack up nicely. cff does some minor caching to help hide the delays...sometimes..

    If you do it locally you only have 10ms delay(to search disk) or 20 NANOseconds(in the case of ram lookup). You have already cut down cff resonse by a minimum of 10x. There's no real reason(other than Astaro still has NOT made this a webadmin feature despite over a YEAR's worth of promises). Of course this could void support so you may have to do this at your own risk.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    The Mantis ID #24255 is now being worked on. We are planning to release a fix for this issue in Version 9.080.
  • 0 in reply to Astaro Beta Bot
    Does this mean the local conten filter is now finaly implemented and supported in the UTM and configurable via webadmin or just working again for those who do the "hack"?
  • 0
    Still command-line.

    Sophos staff have stated that they are planning on switching away from the TrustedSource database to a Sophos one (maybe in 9.2?), so the interface may change at that point.

    Barry
  • 0 in reply to BarryG
    That would be my guess -- as their standalone web filter product has a local DB.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0 in reply to Astaro Beta Bot
    Good to hear it was a temporary bug.  [:)]
  • 0 in reply to zoom113
    BTW, for those of you concerned about the local content filter, check out WebSecurity: Local Content Filter Database

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

Unfiltered HTML