[v7.000] POP3 Proxy flakey

Is prefetching turned off?

Is prefetching turned off?

Yes, Prefetch is off.
I have now turned off Heuristics SPAM, and URL detection.
Situation is not improved.

PS moving up to v7.001 hasn't helped, but didn't expect it to either.

Jeremy,
I was, but v7.000 was better, at least it worked better than the current v7.001 does.
I have logged a fault, but as home user I am not entitled to support, but log faults as I find them anyway.

Ian M

Ian, I was wondering about spec in terms of the POP and HTML proxy problems, but your signature makes me think grunt is not the problem.

Is it my imagination, or are the logs a lot more basic (and therefore useless) when compared to v6?

Jeremy,
grunt isn't the problem, the processor peaks at about 5% and usually sits at less than 1%. Memory occasionally hits 90% but usually sits around the 70% before I removed some of the e-mail configs.

At the moment the POP3 proxy is not deleting and has not deleted most of the messages on ISP e-mail server for the last 3 days. I am receiving some of them for the fourth or fifth time. The connection is timing out, so I might drop the proxy for a while put a packet filter rule in just to get rid of them.

The http proxy logs are not much use for quick debugging, I haven't examined them with any serious thoughts yet. But, I suspect it will be a download and ms-access database. 

My main concern is to get this e-mail proxy working. The pop3 logs show errors, I sent the whole log to Astaro when I submitted the fault. I should also send a copy of my packet filter log as the pop3 proxy is not intercepting the incoming packets and they are being dropped by default.

I will save a copy then do a fresh install of v7.000 and see what happens.

Ian M[:@][:S]

First of all I would like to stress that we have tested
the POP3 proxy extensively and in many setups. But hey, nobody is perfect.

Now let's get to the problems you've described:

- - File extension filter

There is a problem with the file extension filter if prefetching is
turned off. It results in a non-responding proxy if a message is blocked
due to a file extension. This problem is known and will be fixed in one
of the next updates.

- - Copies of messages

This behavior only occurs if the client is configured to leave messages
on the server. It might happen when the proxy is turned on for the first
time with prefetching enabled or if you switch between prefetch on/off.
However, if it happens and the configuration was not changed before,
it's definitely a bug and should be reported. To check the debug
output in the logfile you can change the logmask value from 15 to 31 in
the start script of the pop3 proxy, which is located in
/var/mdw/scripts/pop3. Be aware that you do this on your own risk. If
the problem pertains, please send the logfile to the Astaro support or
directly to me and add a simple description how to reproduce this behavior.

- - Client timeouts:

This error message is logged if the client closes the connection to the
proxy before the proxy can send its data to the client. Try to increase
the timeout settings of the client.

How prefetch works:

1. The proxy checks if there are new messages on the server, using the
configured prefetch interval.

2. If there is a new message, the proxy downloads it and stores it for
scanning. In the Quarantine Manager's statistics it is counted as
"Waiting for delivery", however, it cannot be delivered until it was
scanned.

3. The message will be scanned. After scanning it is either clean and
shows up as "Unaffected" in the statistics or it is moved to the
quarantine because of spam, virus or something else. Only clean messages
can be downloaded from the client. All quarantined messages can only be
handled in the Quarantine Manager or in the End User Portal.

4. If the client wants to connect to the server, the client instead
receives all scanned and clean messages from the ASG.

5. If the client is configured to delete messages on the server after
retrieving them, this information will be stored in a database on the
ASG. The next time the proxy wants to prefetch messages, it deletes
these so marked messages from the server.

Manfred, thank you for the detailed explanation of the pop3 proxy and pre-fetch.
1/.Time-out issue, many of us extended our time out to the maximum of 10 minutes some time ago to overcome a previous problem.
2/.File extension - haven't come across that problem yet.
3/. Why is pre-fetch selective in only leaving some files on the ISP's e-mail server and not others. My outlook is setup to download all files and leave nothing on the ISP's e-mail server, my wife's is the same.

Why does prefetch work fine for the first 24 hours then misbehave after that?
When I turn prefetch off all the e-mails arrive including those deleted 4 or 5 or more hours beforehand? I have been able to repeat this issue with every beta release and logged info into v7b e-mail as well as the beta board.

Why with pre-fetch disabled when e-mails are released from quarantine don't they arrive in my inbox? Where do they go?

To get the value of spam filtering we need pre-fetch to work correctly or a spam function that works without pre-fetch enabled.

Ian M

Prefetetching is not selective in leaving messages on the e-mail server. The proxy deletes messages if you have configured it in the client else it leaves messages on the server. Why some are deleted and some not i can't say at the moment but i try to reproduce and fix it as soon as possible. Is it possible that a i create an account on this ISP e-mail server or is it an closed server for your company or something like that?

Why prefetch work only for 24 hours in your case is something, which I try to find out. We have a large test environment and have no such problems until now.

How are the e-mails deleted which arrive again (on client side, on server via webportal, in Quarantine Manager or End User Portal)?

When prefetch is disabled you can not release messages. You can only view or download these messages.

Thanks Manfred, your description is good.

However, for me:
- Prefetch always been disabled - messages still not received until I turn off Proxy.
- Time-out is already long (10 minutes) but still get "ERR (proxy) connection issue" as error in Outlook.
- I also have not come across the extension filter issue you describe, but that may be what is stopping mails from being received.  I will test further and let you know!
- ISP is NZ's largest - xtra.co.nz - but am not sure you can sign up without a NZ phone number.

Koma,
I have deleted the e-mails from my inbox, I use outlook 2003.

I have the enabled "not leave e-mails on server"

I have old log files of v7.001 which show the same e-mail being downloaded and scanned a number of times while using pre-fetch. While pre-fetch might not be designed to leave messages on the ISP's server it certainly has for me since I implemented it in the first v7b.

I am with Australia's largest ISP Bigpond (Telstra). At the moment "prefetch" has been disabled for over 2 days and I haven't had a problem with my e-mail. As I said in one of my posts in the v7beta forum, there is definitely something wrong with prefetch.
I used to delete the e-mails in outlook, and the quarantine. End-user-portal didn't appear to give any problems.

Ian M

I have removed every entry from the extension filter while that bugfix is being developed, and so far no problems.
AV, SPAM, and prefetch all still disabled.

I have removed every entry from the extension filter while that bugfix is being developed, and so far no problems.
AV, SPAM, and prefetch all still disabled.

If you enable this feature on your client the proxy never deletes messages on server. If it is disabled there are three possibilities  to delete  a message on server.

1. Prefetch is off: 
Message will be deleted immediately.

2. Prefetch is on and message was not blocked:
After sending this message to the client, the messages will be marked for deletion on database. The next time the proxy downloads new messages the marked messages will be deleted on server.

3. Prefetch is on and message was blocked:
In this case there are two ways to delete the message on server. The first one is to delete the message in the Quarantine Manager or the End User Portal. The message is marked for deletion and the next time the proxy downloads new messages the marked messages will be deleted on server.
The second way is to activate the automatic cleanup of the quarantine under "Quarantine Manger -> Configuration". Then messages will be deleted automatically after x days.

If you neither delete messages via Quarantine Manager/ End User Portal or automatically the blocked messages stays on server.

Koma,
I understand what you are saying about the way the pop3 proxy with pre-fetch enabled should function.

What I am telling you is the way it works in reality for me.
1/. I do not change my outlook configuration when I disable prefetch
2/. with pre-fetch enabled the pop3 proxy does not delete all mail from the ISPs e-mail server regardless of whether the e-mails is caught in the spam filters or delivered to my desktop.
3/. Some e-mail takes a day or so to be delivered, but only arrives if pre-fetch is disabled.
4/. The pop3 proxy log files show it being delivered and scanned over and over and over, but never passed to the end user.

I have the log files, I saw my pop3 traffic grow to 630mb in one day, not bad for 2 users?
5/. This has been a problem all along with pre-fetch. Maybe it is something peculiar to way my ISP has their e-mail servers setup. But, as a result I cannot release messages caught in the spam filter, only download them a zip files.

I will be going a way from home for over week later in the year and will have limited access to the firewall, so my wife will not get all her e-mail unless a fix is found shortly. I won't put a packetfilter rule in because that bypasses scanning which I employ a firewall for.

If you wish I will give you access to my ASG so you can review the configuration.

Ian M

Thanks Ian,

the next steps will be discussed in private messages.

It lookes like, the POP3 proxy don't delete all messages from the pop3 server, after i downloaded it to the client. these messages are all spam, which will be now for ever on the server.

I wish Manfred had updated this thread with the exact details.

But, never mind. There is a minor bug in the prefetch function concerning the failure to delete all messages from some pop3 accounts which Manfred (koma) has identified and is fixing for a future up2date release, hopefully the next one.

Ian M[:)]

I'm working hard on this bug.

I have the same 0x800CCC90 error and strangely if i activate encryption for incoming pop3 messages (I use outlook 2003), that means port 995 instead of 110, the problem disappears. The only probel then is that I always have a warning message about the certificate (problem with CN name). I hope this helps pinpoint the problem.

What's the current status of POP3 proxy functionality?

Is it working now?  I would like to implement it in our Russian site but not if it's 'flakey' still.

The strange Outlook error messages is not caused by the pop3 proxy. The proxy only listens on port 110. Errors while using port 995 (pop3 ssl) are not referenced to the proxy.

Simon, the proxy is working. You can use it in your Russian site, although some little improvements will be released with the next up2date.

I'll wait for the next up2date.  Hoping the "leaving some messages in mailbox" thing is fixed.