[5.001] Web still not working

Hi there, 

plz let me shade some light into the HTTP-Proxy issue.

As you might have recognized that astaro has added a content filter framework 
to handle different Sercure Content Management methods, one of the is Virus Scanning.
But all those content scanners have one drawback, they can only work on files, not on streams.
Therefore we need to download the whole file prior beeing able to scan it.

On the other hand it is not satisfactionary for customers to wait 10 minutes 
while the browser is doing nothing until the firewall has downloaded and scannned the file, 
without having any progress bar or feeddback about the status.
We addressed this by serving an HTML Progress bar.
This is only done, if the downloaded file exceeds a certain file size.  (appr. 1MB)

In order to not break any non browser HTTP clients, we also return a certain error code 
'Content temporarily not available', which should tell them to wait a little bit and try again. 
But no all clients behave that way. I assume apt-get is one of them.
If you disable the content filter it will work as before, but without virus scanning.

We are working on more sophisticated detection mechanism so we know if the client supports an HTML status page or not.

I hope this helps to understand the problem, 

Regards
Gert

Gert,

HOw about the random restarting of squid that is becoming a frequent post?
https://community.sophos.com/products/unified-threat-management/astaroorg/f/54/t/40313

Hi Gert

I experiece the same problem with the proxy in transparent mode. If I switch of the HTTP Proxy completly i am able to connect to the Internet. If it is running I get a timeout. With my license I should be able to use the content filter from cobian. But even when switching off content filtering, i am unable to browse the net! I am not doing any sophisticated stuff, just using the browser (Mozilla) to join this forum...;-)

An interesting explaination but I hope it doesn't cover what I am seeing and if it does then you need to work on the "other" method.

Right now I can't run the http proxy for more than a few pages without having to turn it off.  This is with Mozilla, IE or other applications.

The progress bar you indicated, I have never seen before.

I am running the http proxy in transparent mode with no content filtering or virus protection on and it just doesn't work and I from what I read I am not alone in this assessment.

We have also been able to reproduce this on at least three labs systems here without any special traffic generators.  

From my humble observation this feature is just plain broke or the features that have been included have made it a feature that just isn't useful.  

I can't even test the content filtering or virus proection for this feature because we can't get the proxy to work.

What I am decribing is a show stopping feature in my opinion and one that will keep us from deploying version 5.

I think you need to take a longer look at what is being reported here because this just doesn't work.

Hi,

I think I have the same problem, after Starting squid, it is shuting down and resarting. So a few seconds, I can access the Internet, then there is the message that squid is currently shutting down, then nothing, and so on:

(It is also 5.001)

Squid.log:
2004:04:13-13:05:34 (none) squid[5977]: Starting Squid Cache version 2.5.STABLE4 for i686-pc-linux-gnu...
2004:04:13-13:05:34 (none) squid[5977]: Process ID 5977
2004:04:13-13:05:34 (none) squid[5977]: With 1024 file descriptors available
2004:04:13-13:05:34 (none) squid[5977]: DNS Socket created at 127.0.0.1, port 32772, FD 5
2004:04:13-13:05:34 (none) squid[5977]: Adding nameserver 127.0.0.1 from /etc/resolv.conf
2004:04:13-13:05:34 (none) squid[5972]: Squid Parent: child process 5977 started
2004:04:13-13:05:34 (none) squid[5977]: Unlinkd pipe opened on FD 10
2004:04:13-13:05:34 (none) squid[5977]: Swap maxSize 4288512 KB, estimated 329885 objects
2004:04:13-13:05:34 (none) squid[5977]: Target number of buckets: 16494
2004:04:13-13:05:34 (none) squid[5977]: Using 32768 Store buckets
2004:04:13-13:05:34 (none) squid[5977]: Max Mem  size: 8192 KB
2004:04:13-13:05:34 (none) squid[5977]: Max Swap size: 4288512 KB
2004:04:13-13:05:34 (none) squid[5977]: Rebuilding storage in /cache (CLEAN)
2004:04:13-13:05:34 (none) squid[5977]: Using Least Load store dir selection
2004:04:13-13:05:34 (none) squid[5977]: Set Current Directory to /cache
2004:04:13-13:05:34 (none) squid[5977]: Loaded Icons.
2004:04:13-13:05:34 (none) squid[5977]: Accepting HTTP connections at 0.0.0.0, port 3128, FD 12.
2004:04:13-13:05:34 (none) squid[5977]: WCCP Disabled.
2004:04:13-13:05:34 (none) squid[5977]: Ready to serve requests.
2004:04:13-13:05:34 (none) squid[5977]: Done reading /cache swaplog (105 entries)
2004:04:13-13:05:34 (none) squid[5977]: Finished rebuilding storage from disk.
2004:04:13-13:05:34 (none) squid[5977]:       105 Entries scanned
2004:04:13-13:05:34 (none) squid[5977]:         0 Invalid entries.
2004:04:13-13:05:34 (none) squid[5977]:         0 With invalid flags.
2004:04:13-13:05:34 (none) squid[5977]:       105 Objects loaded.
2004:04:13-13:05:34 (none) squid[5977]:         0 Objects expired.
2004:04:13-13:05:34 (none) squid[5977]:         0 Objects cancelled.
2004:04:13-13:05:34 (none) squid[5977]:         0 Duplicate URLs purged.
2004:04:13-13:05:34 (none) squid[5977]:         0 Swapfile clashes avoided.
2004:04:13-13:05:34 (none) squid[5977]:   Took 0.3 seconds ( 384.5 objects/sec).
2004:04:13-13:05:34 (none) squid[5977]: Beginning Validation Procedure
2004:04:13-13:05:34 (none) squid[5977]:   Completed Validation Procedure
2004:04:13-13:05:34 (none) squid[5977]:   Validated 105 Entries
2004:04:13-13:05:34 (none) squid[5977]:   store_swap_size = 708k
2004:04:13-13:05:36 (none) squid[5977]: storeLateRelease: released 0 objects
2004:04:13-13:05:51 (none) squid[5977]: Preparing for shutdown after 0 requests
2004:04:13-13:05:51 (none) squid[5977]: Waiting 30 seconds for active connections to finish
2004:04:13-13:05:51 (none) squid[5977]: FD 12 Closing HTTP connection
2004:04:13-13:05:51 (none) squid[5977]: Shutting down...
2004:04:13-13:05:51 (none) squid[5977]: Closing unlinkd pipe on FD 10
2004:04:13-13:05:51 (none) squid[5977]: storeDirWriteCleanLogs: Starting...
2004:04:13-13:05:51 (none) squid[5977]:   Finished.  Wrote 105 entries.
2004:04:13-13:05:51 (none) squid[5977]:   Took 0.0 seconds (305232.6 entries/sec).
2004:04:13-13:05:51 (none) squid[5977]: Squid Cache (Version 2.5.STABLE4): Exiting normally.

Hi thaab,

seems to be a misunderstanding.
Gert talked about the new HTTP Virus-Scanning feature and not the well-known HTTP content filter.
So if enabled you should try to disable the HTTP Virus-Scanning feature.

Karsten

No i did not misunderstand the problem. The transparent proxy is not working correctly. I can try to switch off virus scanning or content filtering but it does not make any difference. Web Access only works if I switch of the proxy completly.

He help clarify my post, I have tried the web proxy in transparent mode with no other features and it just doesn't work.

I have tried it iwth features on as well. I have tried restarting it manually and have tested from Mozilla, IE, Opera and Netscape.  Three of these browsers I have used on Linux as well.

The basic proxy will also not work with our Debian apt which mans none of our servers can update.  Right now we have disabled the proxy so we can wait for a fix.

I did a bunch more testing on this issue by changing the configurations for the http proxy and no matter what options i have tried on this the http proxy keeps restarting.  I watched the logs and the proxy just stops and starts as indicated in the logs included in one of the other posts here.

If I am very patient and can get the page to start loading in some cases it will load parts adn not load others.  It all depends on when the proxy shuts down.

Hi there, 

if the biggest problem ist that the http proxy is constantly restarting, 
i also can explain that.

As you might all know we use the definition networks in nearly every other configuration option.

Now if one network definition changes, it could theoretically be the onr that is used inside the HTTP proxy.
therefore the HTTP proxy gets restarted in order to reflect the changed network.

In V4 we had the same behavior, with the slight difference that the networks only change if the admin make some configuration or a dynamic interface changed his ip address.
In V5 we introduced many new dynamic network types like, IPSec user, PPTP user, DNS hostname and so on. 
Now the problem is that the granularity level we have inside the midddleware that takes care of configuring squid and the restarting it is not enough anymore.

We are currently working on improving this, so only if the configuration of squid changes somehow, the system gets restarted.

Also keep in mind that we have a new content filter framework (CFF), so many proxies can share the same  Content Filter mechanism like Virus Scanning.
now if you configure something at the SMTP content filter and the system needs to reload its configuration, there might be certain downtime also for the other proxies.

If there are no other problems than the restarting of squid and the CFF, i  am happy to tell that we are working currectly to improve this behavior.

But if you recognize other problems, plz post them.

Thx Gert