[v7.000] POP3 Proxy flakey

Is prefetching turned off?

Is prefetching turned off?

Yes, Prefetch is off.
I have now turned off Heuristics SPAM, and URL detection.
Situation is not improved.

Prefetching has not worked once for me yet!  Turning it off seems to allow everything to work OK.

Pre-fetch still goes to sleep after approx 1 day under v7.001[:@][:@][:@]

Ian M

Just found out how flaky the pop3 proxy is. I had to re-install ASG 7.001 due to a physical failure of a LAN card. It caused something like 263mb of pop3 traffic into the pop3 log. Further "named" ran to about 95% CPU occupancy.

So, before closing the old system down I disabled pre-fetch, end-user-portal and the end user spam report.

Pre-fetch left off the new system because I wasn't receiving all e-mails, I would get some from one user, but not all and when pre-fetch was disabled, day or more so old e-mails suddenly arrived along with copies of previously deleted one.[:@]

After putting everything back together and restoring from backup, e-mail wouldn't work. Nothing but IO errors in the log with occasional client time-out messages.

After about 30 minutes and a couple of restarts, still nothing, so I re-enabled the "end-user-portal" and the "end user spam report" and low and behold e-mail works again.[[:)]][:S][[:)]]

Ian M

Not sure if I'm out of line here, but occurs to me that a POP3 proxy should a) be fairly straight forward as it's a very old protocol now, and b) should have been tested to a larger degree?

There's no way I could think about putting v7 into a production environment.
Will appliances be shipping with v7 installed, and if so are we going to be able to down-grade?  A question for another forum, me-thinks..

Not sure if I'm out of line here, but occurs to me that a POP3 proxy should a) be fairly straight forward as it's a very old protocol now, and b) should have been tested to a larger degree?

There's no way I could think about putting v7 into a production environment.
Will appliances be shipping with v7 installed, and if so are we going to be able to down-grade?  A question for another forum, me-thinks..

PS moving up to v7.001 hasn't helped, but didn't expect it to either.

Jeremy,
I was, but v7.000 was better, at least it worked better than the current v7.001 does.
I have logged a fault, but as home user I am not entitled to support, but log faults as I find them anyway.

Ian M

Ian, I was wondering about spec in terms of the POP and HTML proxy problems, but your signature makes me think grunt is not the problem.

Is it my imagination, or are the logs a lot more basic (and therefore useless) when compared to v6?

Jeremy,
grunt isn't the problem, the processor peaks at about 5% and usually sits at less than 1%. Memory occasionally hits 90% but usually sits around the 70% before I removed some of the e-mail configs.

At the moment the POP3 proxy is not deleting and has not deleted most of the messages on ISP e-mail server for the last 3 days. I am receiving some of them for the fourth or fifth time. The connection is timing out, so I might drop the proxy for a while put a packet filter rule in just to get rid of them.

The http proxy logs are not much use for quick debugging, I haven't examined them with any serious thoughts yet. But, I suspect it will be a download and ms-access database. 

My main concern is to get this e-mail proxy working. The pop3 logs show errors, I sent the whole log to Astaro when I submitted the fault. I should also send a copy of my packet filter log as the pop3 proxy is not intercepting the incoming packets and they are being dropped by default.

I will save a copy then do a fresh install of v7.000 and see what happens.

Ian M[:@][:S]

First of all I would like to stress that we have tested
the POP3 proxy extensively and in many setups. But hey, nobody is perfect.

Now let's get to the problems you've described:

- - File extension filter

There is a problem with the file extension filter if prefetching is
turned off. It results in a non-responding proxy if a message is blocked
due to a file extension. This problem is known and will be fixed in one
of the next updates.

- - Copies of messages

This behavior only occurs if the client is configured to leave messages
on the server. It might happen when the proxy is turned on for the first
time with prefetching enabled or if you switch between prefetch on/off.
However, if it happens and the configuration was not changed before,
it's definitely a bug and should be reported. To check the debug
output in the logfile you can change the logmask value from 15 to 31 in
the start script of the pop3 proxy, which is located in
/var/mdw/scripts/pop3. Be aware that you do this on your own risk. If
the problem pertains, please send the logfile to the Astaro support or
directly to me and add a simple description how to reproduce this behavior.

- - Client timeouts:

This error message is logged if the client closes the connection to the
proxy before the proxy can send its data to the client. Try to increase
the timeout settings of the client.

How prefetch works:

1. The proxy checks if there are new messages on the server, using the
configured prefetch interval.

2. If there is a new message, the proxy downloads it and stores it for
scanning. In the Quarantine Manager's statistics it is counted as
"Waiting for delivery", however, it cannot be delivered until it was
scanned.

3. The message will be scanned. After scanning it is either clean and
shows up as "Unaffected" in the statistics or it is moved to the
quarantine because of spam, virus or something else. Only clean messages
can be downloaded from the client. All quarantined messages can only be
handled in the Quarantine Manager or in the End User Portal.

4. If the client wants to connect to the server, the client instead
receives all scanned and clean messages from the ASG.

5. If the client is configured to delete messages on the server after
retrieving them, this information will be stored in a database on the
ASG. The next time the proxy wants to prefetch messages, it deletes
these so marked messages from the server.

Manfred, thank you for the detailed explanation of the pop3 proxy and pre-fetch.
1/.Time-out issue, many of us extended our time out to the maximum of 10 minutes some time ago to overcome a previous problem.
2/.File extension - haven't come across that problem yet.
3/. Why is pre-fetch selective in only leaving some files on the ISP's e-mail server and not others. My outlook is setup to download all files and leave nothing on the ISP's e-mail server, my wife's is the same.

Why does prefetch work fine for the first 24 hours then misbehave after that?
When I turn prefetch off all the e-mails arrive including those deleted 4 or 5 or more hours beforehand? I have been able to repeat this issue with every beta release and logged info into v7b e-mail as well as the beta board.

Why with pre-fetch disabled when e-mails are released from quarantine don't they arrive in my inbox? Where do they go?

To get the value of spam filtering we need pre-fetch to work correctly or a spam function that works without pre-fetch enabled.

Ian M

Prefetetching is not selective in leaving messages on the e-mail server. The proxy deletes messages if you have configured it in the client else it leaves messages on the server. Why some are deleted and some not i can't say at the moment but i try to reproduce and fix it as soon as possible. Is it possible that a i create an account on this ISP e-mail server or is it an closed server for your company or something like that?

Why prefetch work only for 24 hours in your case is something, which I try to find out. We have a large test environment and have no such problems until now.

How are the e-mails deleted which arrive again (on client side, on server via webportal, in Quarantine Manager or End User Portal)?

When prefetch is disabled you can not release messages. You can only view or download these messages.

Thanks Manfred, your description is good.

However, for me:
- Prefetch always been disabled - messages still not received until I turn off Proxy.
- Time-out is already long (10 minutes) but still get "ERR (proxy) connection issue" as error in Outlook.
- I also have not come across the extension filter issue you describe, but that may be what is stopping mails from being received.  I will test further and let you know!
- ISP is NZ's largest - xtra.co.nz - but am not sure you can sign up without a NZ phone number.

Koma,
I have deleted the e-mails from my inbox, I use outlook 2003.

I have the enabled "not leave e-mails on server"

I have old log files of v7.001 which show the same e-mail being downloaded and scanned a number of times while using pre-fetch. While pre-fetch might not be designed to leave messages on the ISP's server it certainly has for me since I implemented it in the first v7b.

I am with Australia's largest ISP Bigpond (Telstra). At the moment "prefetch" has been disabled for over 2 days and I haven't had a problem with my e-mail. As I said in one of my posts in the v7beta forum, there is definitely something wrong with prefetch.
I used to delete the e-mails in outlook, and the quarantine. End-user-portal didn't appear to give any problems.

Ian M

I have removed every entry from the extension filter while that bugfix is being developed, and so far no problems.
AV, SPAM, and prefetch all still disabled.