Guest User!

You are not Sophos Staff.

Thread Info
  • State Not Answered
  • Replies 41 replies
  • Subscribers 0 subscribers
  • Views 23798 views
  • Users 0 members are here
Options
Suggested

[9.075][BUG] Local Content Database is not working

Billybob
Hi, since local content database is not a GUI supported feature, I am submitting this as info but I am hoping that this great feature is not being phased out[:S]
I have been running my beta VM without making any changes via command line to keep the system as close to a supported system as possible. However today I decided to load the local content database to run a few latency tests. But after trying multiple times, the database doesn't load properly and the sfcontrol file gets deleted.
I started the download process by running
cc set http sc_local_db mem
and restarted proxy by 
/var/mdw/scripts/httpproxy restart

The file loads all the way and then gets deleted

gatekeeper:/var/storage/chroot-http/var/pattern/sfcontrol # l -h
total 378M
drwxr-xr-x 2 httpproxy root      4.0K Mar 10 00:23 ./
drwxr-xr-x 7 httpproxy root      4.0K Mar  4 09:50 ../
-rw------- 1 httpproxy httpproxy 378M Mar 10 00:27 sfcontrol

and then suddenly the file disappears
gatekeeper:/var/storage/chroot-http/var/pattern/sfcontrol # l -h
total 8.0K
drwxr-xr-x 2 httpproxy root 4.0K Mar 10 00:27 ./
drwxr-xr-x 7 httpproxy root 4.0K Mar  4 09:50 ../

A screenshot of progressive loading of the file is shown below by getting directory listing every few seconds. Notice that the file loads all the way and then disappears[:S]
Regards
Bill
Parents
  • 0
    ok here's a smaller condensed version:
    Local Content http database: put it on the disk if you have less than 2 gigs of ram..use ram if you have 3 gigs or more. The difference may not be apparent..until the cff database servers(which are "cloudy" have issues of some kind..and they do often. If you use a local cff cache you are effectively immune to inet connectivity issues slowing you up..here's how the cff works:
    1. you head to CNN.com International - Breaking, World, Business, Sports, Entertainment and Video News
    2. http proxy has to send that url to cff cloud...this is an automatic minimum 50 ms of delay(the average i see form three installs is 100 ms) to the request
    3. if cff cloud isn't overloaded you get responses reasonably quickly..if not you wait for the response..then it travels back to you(at least another 50 ms)
    4. If you pass cff muster you can finally go start fetching your content.
    5. client start seeing content.

    let's keep one thing in mind..this process is not done per page..but is done PER LINK in every page. These delays stack up nicely. cff does some minor caching to help hide the delays...sometimes..

    If you do it locally you only have 10ms delay(to search disk) or 20 NANOseconds(in the case of ram lookup). You have already cut down cff resonse by a minimum of 10x. There's no real reason(other than Astaro still has NOT made this a webadmin feature despite over a YEAR's worth of promises). Of course this could void support so you may have to do this at your own risk.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Reply
  • 0
    ok here's a smaller condensed version:
    Local Content http database: put it on the disk if you have less than 2 gigs of ram..use ram if you have 3 gigs or more. The difference may not be apparent..until the cff database servers(which are "cloudy" have issues of some kind..and they do often. If you use a local cff cache you are effectively immune to inet connectivity issues slowing you up..here's how the cff works:
    1. you head to CNN.com International - Breaking, World, Business, Sports, Entertainment and Video News
    2. http proxy has to send that url to cff cloud...this is an automatic minimum 50 ms of delay(the average i see form three installs is 100 ms) to the request
    3. if cff cloud isn't overloaded you get responses reasonably quickly..if not you wait for the response..then it travels back to you(at least another 50 ms)
    4. If you pass cff muster you can finally go start fetching your content.
    5. client start seeing content.

    let's keep one thing in mind..this process is not done per page..but is done PER LINK in every page. These delays stack up nicely. cff does some minor caching to help hide the delays...sometimes..

    If you do it locally you only have 10ms delay(to search disk) or 20 NANOseconds(in the case of ram lookup). You have already cut down cff resonse by a minimum of 10x. There's no real reason(other than Astaro still has NOT made this a webadmin feature despite over a YEAR's worth of promises). Of course this could void support so you may have to do this at your own risk.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Children
No Data
Unfiltered HTML