[7.880][BUG][FIXED] var/httpcache does not exist after zapping the http cache

Hi,

I stumbled upon an error with my 7.880 installation (no upgrade, directly installed from the ISO). When using the http proxy w. caching functionality I got a lot of diskcache.c errors after cleaning the cache.


2010:03:01-11:38:52 asgv8 httpproxy[543]:  id="0062" severity="info" sys="SecureWeb" sub="http" name="web request blocked, forbidden url detected" action="block" method="GET" srcip="192.168.0.142" dstip="" user="christian" statuscode="403" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="6161" time="0 ms" request="0x9cf9c00" url="www.facebook.com/" exceptions="" error=""
2010:03:01-11:38:55 asgv8 httpproxy[543]:  id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="cacheidxfunc" file="diskcache.c" line="115" message="statvfs: No such file or directory"
2010:03:01-11:38:57 asgv8 httpproxy[543]:  id="0003" severity="info" sys="SecureWeb" sub="http" request="0x9ce4f30" function="disk_cache_insert" file="diskcache.c" line="788" message="move failed: /tmp/tmp_KCD3Ac -> /var/httpcache/4/03/4A69B9E1BDDE02A6759D1BBDEEBAAD: No such file or directory"
2010:03:01-11:38:57 asgv8 httpproxy[543]:  id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.0.142" dstip="69.63.176.181" user="christian" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="25" time="55449 ms" request="0x9ce4f30" url="2.channel21.facebook.com/.../plain"
2010:03:01-11:38:57 asgv8 httpproxy[543]:  id="0003" severity="info" sys="SecureWeb" sub="http" request="0x9cfa530" function="disk_cache_insert" file="diskcache.c" line="788" message="move failed: /tmp/tmp_KCD3Ac -> /var/httpcache/7/89/BC3CB3E833229AEE1AA649D42D7ABD: No such file or directory"
2010:03:01-11:38:57 asgv8 httpproxy[543]:  id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.0.142" dstip="69.63.176.181" user="christian" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="25" time="55488 ms" request="0x9cfa530" url="0.channel21.facebook.com/.../plain"
2010:03:01-11:38:58 asgv8 httpproxy[543]:  id="0003" severity="info" sys="SecureWeb" sub="http" request="0x925d6f8" function="disk_cache_insert" file="diskcache.c" line="788" message="move failed: /tmp/tmp_KCD3Ac -> /var/httpcache/7/F3/F14DEE57D2CBBB71D571EC5F30C57D: No such file or directory"



It all points to the fact that 
/var/httpcache (respectively: /var/storage/chroot-http/var/httpcache) is missing:

Problem seemed to have come from zapping the cache:


2010:03:01-11:36:15 asgv8 httpproxy[426]:  id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="disk_cache_zap" file="diskcache.c" line="404" message="creating cache"
2010:03:01-11:36:15 asgv8 httpproxy[426]:  id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="disk_cache_create" file="diskcache.c" line="818" message="sub mkdir /var/httpcache/0 failed: File exists"

and 
2010:03:01-11:37:55 asgv8 httpproxy[543]:  id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="disk_cache_zap" file="diskcache.c" line="404" message="creating cache"

2010:03:01-11:37:55 asgv8 httpproxy[543]:  id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="disk_cache_create" file="diskcache.c" line="818" message="sub mkdir /var/httpcache/0 failed: No such file or directory"


Restarting the http cache daemon via the mdw script didn't fix this issue.

If you need more information, let me know.

Christian
Parents
  • Well... this isn't the final fix. We only reverted the last thing where we basically broke the proxy. There are actually several things we are trying to accomplish, and one of those things has to do with customers that have a really large cache, where it could happen that clearing the cache or restarting the proxy takes minutes instead of seconds. 
    So we're still looking for an optimal solution, but in the mean time we didn't want the proxy to be broken and we decided to go back to "known good" setup.

    But we're all glad so hear that the proxy is working for you again!
  • This probably should go under requests but are you guys planning on adding some kind of system in webadmin to control the cache size. I know in 7.5xx the dynamic allocation sometimes allocates too much space and people start getting alerts about partition filling up specially for smaller hard drives.

    I know most people in the US and other developed countries with fast/unlimited internet access sometimes don't appreciate the cache but it would be nice to have fields for cache size and retention time in webadmin.
Reply
  • This probably should go under requests but are you guys planning on adding some kind of system in webadmin to control the cache size. I know in 7.5xx the dynamic allocation sometimes allocates too much space and people start getting alerts about partition filling up specially for smaller hard drives.

    I know most people in the US and other developed countries with fast/unlimited internet access sometimes don't appreciate the cache but it would be nice to have fields for cache size and retention time in webadmin.
Children
No Data