Prefetch - what is the trick to get it going??

Stumped here - cannot maker prefetch work.

POP3 Proxy is configured correctly - I do a send and recieve - but nothing shows up in prefetched mail.... Bummer!

Who has it working and what the heck did you do? I would really like to get that going...

Thanks!

prefetch is problematic.  I don't run it due to various bugs still present.

I finally turned it off as I could never get it to work right for me. I will wait until it is stable to try it again.

I do know that others here have had success though....

RockinRay,
I have prefetch working on v7.011 and many prior versions without a problem. I have 2 pop3 accounts and my wife has 1. I have full virus scanning working.

I have prefetch set to about 500 seconds and MS-Outlook set to maximum (10 minutes) on each account, any shorter and the downloads never complete and you end up getting multiple copies of the same message.

At the moment I can't test anything specific for you I am in the middle of changing ISPs and don't internet at home.

Ian M

Ian - thanks for getting back to me.

Ok - so what is the catch here.

I have turned on pre-fetch again. Do I need to do a send and receive from Outlook with ISP mail settings now or do I set addresses to the firewall? Not sure here and the manual is not real clear.

Here are my errors if I look at the log now:

2007:10:18-22:57:23 (none) pop3proxy[14786]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:18-22:57:23 (none) pop3proxy[14786]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 

Basically, what are the steps that has worked for you? Can you give me a 1, 2, 3, etc... I have never had sucess with this and I would really like to get it going!

Thanks Ian!

Hi RockingRay, 

please disable the POP3 Proxy completly and configure your client to retrieve emails from your ISP.
Once that is working, enable the POP3 Proxy in transparent mode with prefetching enabled. As mentioned by Ian, increase the local timer for fetching emails from 5min to 10min.

Than wait for 20 minutes. After that the system should have configured itself. 
Some FreeMail Accounts block the retrieval if you ask too often for new emails, make sure that the timer in ASG proxy prefetch is not smaller than this timeframe enforced by the ISP.

That shall be it from the configuration side.

The error message tells that the POP3 proxy was not able to contact the content filter framework to scan emails for virus and spam. For testing purpose, you can just disable virus and spam filtering to see if it works than, if yes, than we need to investigate why the cffd does not anwser as expected.

hope that helps, 
regards
Gert

Gert - thanks for getting back to me.

Following your instuctions here is what my log shows for errors:

2007:10:19-05:57:35 (none) pop3proxy[3345]: id="111U" severity="info" sys="SecureMail" sub="pop3" name="inactive user deleted" info="could not reset database" 
2007:10:19-05:57:36 (none) pop3proxy[3345]: id="111U" severity="info" sys="SecureMail" sub="pop3" name="inactive user deleted" info="could not reset database" 
2007:10:19-05:57:41 (none) pop3proxy[3480]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:19-05:57:41 (none) pop3proxy[3480]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:19-06:19:25 (none) pop3proxy[4182]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:19-06:19:25 (none) pop3proxy[4182]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 

Not sure if this is helpful - but wanted to post it.

Still no joy!

Thanks!

Hi RockingRay, 

please disable the POP3 Proxy completly and configure your client to retrieve emails from your ISP.
Once that is working, enable the POP3 Proxy in transparent mode with prefetching enabled. As mentioned by Ian, increase the local timer for fetching emails from 5min to 10min.

Than wait for 20 minutes. After that the system should have configured itself. 
Some FreeMail Accounts block the retrieval if you ask too often for new emails, make sure that the timer in ASG proxy prefetch is not smaller than this timeframe enforced by the ISP.

That shall be it from the configuration side.

The error message tells that the POP3 proxy was not able to contact the content filter framework to scan emails for virus and spam. For testing purpose, you can just disable virus and spam filtering to see if it works than, if yes, than we need to investigate why the cffd does not anwser as expected.

hope that helps, 
regards
Gert

I have all of my accounts set for 1 minute checking and retrievals on my mail client(including google) and it works w/0 issue.  If i use prefetch it bombs.  Waiting for 10-20 minutes for my mail is not acceptable.

Hello, 
I had the same problem so I stared all over again as Gert suggested but I still have errors :

2007:10:21-07:03:16 (none) pop3proxy[9634]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" call="nextUserToFetch" 
2007:10:21-08:40:10 (none) pop3proxy[10102]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:21-08:40:10 (none) pop3proxy[10102]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:21-08:50:11 (none) pop3proxy[10102]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" message="basic_ios::clear" serverid="2" server="pop.secureserver.net" 
2007:10:21-08:50:11 (none) pop3proxy[10102]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" message="basic_ios::clear" serverid="2" server="pop.secureserver.net"

Well I had it going for a short while:

2007:10:22-07:14:15 (none) pop3proxy[7481]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" message="basic_ios::clear" serverip="66.220.30.138" dstport="110" srcip="192.168.0.101" 
2007:10:22-07:14:15 (none) pop3proxy[7481]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" message="basic_ios::clear" serverip="66.98.198.84" dstport="110" srcip="192.168.0.101" 
2007:10:22-07:14:15 (none) pop3proxy[7481]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" message="basic_ios::clear" serverip="209.225.8.224" dstport="110" srcip="192.168.0.101" 
2007:10:22-07:19:31 (none) cffd[8822]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="Error while scanning a message in database" error="MySql connection failed" 
2007:10:22-07:19:44 (none) pop3proxy[12896]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:19:44 (none) pop3proxy[12896]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:19:58 (none) pop3proxy[13179]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:19:59 (none) pop3proxy[13179]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:20:10 (none) pop3proxy[13986]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:20:10 (none) pop3proxy[13986]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 

As you can see I was connected...

Now I was at V 7.009 and them I upgraded to 7.011 - could that have made a difference? It looks like it lost its connection to the MSQL database???

How to correct this??

Well I had it going for a short while:

2007:10:22-07:14:15 (none) pop3proxy[7481]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" message="basic_ios::clear" serverip="66.220.30.138" dstport="110" srcip="192.168.0.101" 
2007:10:22-07:14:15 (none) pop3proxy[7481]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" message="basic_ios::clear" serverip="66.98.198.84" dstport="110" srcip="192.168.0.101" 
2007:10:22-07:14:15 (none) pop3proxy[7481]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" message="basic_ios::clear" serverip="209.225.8.224" dstport="110" srcip="192.168.0.101" 
2007:10:22-07:19:31 (none) cffd[8822]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="Error while scanning a message in database" error="MySql connection failed" 
2007:10:22-07:19:44 (none) pop3proxy[12896]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:19:44 (none) pop3proxy[12896]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:19:58 (none) pop3proxy[13179]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:19:59 (none) pop3proxy[13179]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:20:10 (none) pop3proxy[13986]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:20:10 (none) pop3proxy[13986]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 

As you can see I was connected...

Now I was at V 7.009 and them I upgraded to 7.011 - could that have made a difference? It looks like it lost its connection to the MSQL database???

How to correct this??

nopers..prefetch is just broken.  turn it off for now is my advice..

William,
prefetch isn't broken. In my opinion you are trying to use email and prefetch in a way neither is designed to be used.

E-mail by definition is not an instant or fast information medium. It is a low priority application in the networking world and can take up to 5 days to be delivered, but more often than not is it delivered in under an hour. 

Assumption you have all your accounts on e-mail client.
You have 14 e-mail address assuming each e-mail address takes a minute to go through its scanning cycle and only downloads a small message, that means the cycle takes about 15 minutes to complete. Now if one e-mail address receives a large file that takes a couple of minutes to download if as I assume you have your client set on about 1 minute refresh rate, the message will be downloaded a number of times so to overcome this you need to set your retry time to about 5 minutes.

Where as if you take a realistic time between polls of say 15 minutes with prefetch set on 500 seconds, after the initial slow period you will find your e-mail will start working a lot faster. It will also be scanned before it is delivered to you, so you can reduce the scan sensitivity on your desk virus scanner and have it available very quickly after it is delivered. If you have to wait for delivery to finish and then the desktop anti-virus scanner to work you still end up waiting.

If the message is so important that you need instant delivery perhaps you need to investigate a more immediate delivery system like a chat room or something of that nature. You set your clients up with an address exclusive to your chatroom or whatever you want to use.


Ian M

Ian,

I know this is working for you. I can get it to half way work but it never seems to get mail for my primary email account.

So - whis is the best way to do this - I will try again.

Do you:

1. Send and recieve with Outlook prior to turning on pre-fetch? Or do you send and recieve after you turn on pre-fetch for the first time.

2. No changes are made to Outlook as related to Pop or SMTP accounts right? I just leave those as-is????

3. I can set prefetch for 500 seconds - what is your recommendation for Outlook time out values?

As you can tell, I really want this to work!

Thanks Ian for any feedback here.

Ray

RockinRay,
basic setup
I have 2 email accounts active on my outlook and so does my wife.
I have prefetch set for 500 seconds
I have all e-mail accounts in outlook set for 10 minutes, I went for 10 because it was easiest to quickly setup, at one stage I was using 9 minutes.

I have "end user spam report" enabled and also quarantine manager enabled.
I also have "end user portal" enabled with the e-mail addresses configured in there. For a small user group this is not a problem.

I have my outlook accounts setup to point at the ISPs email servers.

I didn't do anything specific at startup. But an approach would be to try it without prefetch to ensure all your accounts get through the pop3 proxy.

Then turn prefetch on. The first e-mail down load might take 30 minutes or more because prefetch does some checking. You will see counts in the quarantine reports, don't worry about them, the stats in there are slow to update and all messages that aren't in the bottom counts will eventually be released. Where people make the mistake is they see messages in quarantine and get worried they are stuck there so they turn prefetch off then on then off and as a result prefetch gets all screwed up.

Let it settle for a couple of days before judging it a failure. 

On a separate note, I found that it best to shut the ASG down then power it on again after an upgrade.

Ian M

RockinRay,
basic setup
I have 2 email accounts active on my outlook and so does my wife.
I have prefetch set for 500 seconds
I have all e-mail accounts in outlook set for 10 minutes, I went for 10 because it was easiest to quickly setup, at one stage I was using 9 minutes.

I have "end user spam report" enabled and also quarantine manager enabled.
I also have "end user portal" enabled with the e-mail addresses configured in there. For a small user group this is not a problem.

I have my outlook accounts setup to point at the ISPs email servers.

I didn't do anything specific at startup. But an approach would be to try it without prefetch to ensure all your accounts get through the pop3 proxy.

Then turn prefetch on. The first e-mail down load might take 30 minutes or more because prefetch does some checking. You will see counts in the quarantine reports, don't worry about them, the stats in there are slow to update and all messages that aren't in the bottom counts will eventually be released. Where people make the mistake is they see messages in quarantine and get worried they are stuck there so they turn prefetch off then on then off and as a result prefetch gets all screwed up.

Let it settle for a couple of days before judging it a failure. 

On a separate note, I found that it best to shut the ASG down then power it on again after an upgrade.

Ian M

If you have two accounts..it may work.  but if you are like me and it has over 10 to keep track of it just falls over with no errors and doesn't work.  I ahve tried it in every version of v7 and it's always been a failure..[:(]

@William

i set prefetchtime to 500, and change pickup-time to every 15min on clientsite (popconnect).  It works fine with ~ 14 pop3 accounts.

Gregor

@William

i set prefetchtime to 500, and change pickup-time to every 15min on clientsite (popconnect).  It works fine with ~ 14 pop3 accounts.

Gregor

15 minutes?  That's 15 times what i have to wait for here with straight t-bird.  It should not have to come to that IMO.  If it works for you and you are willing to wait for 15 minutes..kewlies..i for one see absolutely no need to wait that long jsut to use a feature that also removes my webmail abilities..[:)]

Big Point with prefetch and POP3 is TIME

If Time is important change from pop3 to smtp/mx delivery

for 20 POP3 Mailboxes u have to make 20 * connect, stat , quit.
If first mailbox got a 1 mail with 40mb, how long u need to download this mail and complete a pickup the remaining 19 POP3 boxes ? (Dont forget you Astaro with scanning,antispam,anti-whatever betwen the different Pop3 accounts)

So when I get this type of message in the logs:

2007:10:22-07:20:10 (none) pop3proxy[13986]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 
2007:10:22-07:20:10 (none) pop3proxy[13986]: id="1117" severity="error" sys="SecureMail" sub="pop3" name="Error" info="communication error with cffd" message="basic_ios::clear" 

Do I just wait for things to happen? Seems that nothing downloads after this happens!

I have generally let the system run for 8 or so hours to see if it makes a difference and it usually does not.

I am using Outlook 2007.

Thanks for the replies!!!

Big Point with prefetch and POP3 is TIME

If Time is important change from pop3 to smtp/mx delivery

for 20 POP3 Mailboxes u have to make 20 * connect, stat , quit.
If first mailbox got a 1 mail with 40mb, how long u need to download this mail and complete a pickup the remaining 19 POP3 boxes ? (Dont forget you Astaro with scanning,antispam,anti-whatever betwen the different Pop3 accounts)

I have my own mail servers that i use(as in my own box completely).  The issue is prefetch has issues with getting mail at a decent interval.  Waiting 15 minutes for mail is unacceptable.