Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 30 replies
  • Subscribers 1 subscriber
  • Views 15692 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

invisible outgoing email saturating upload

Mast_01
i'm having a problem with yahoo mailservers which constanly delay mail and as such my upload es getting hammered by ASG which continuously retries even when the remote server turns a deferred return or broken pipe.

yesterday i saw the offending mail in the smtp spool in the mail manager and deleted, all is well until some hours after in which the upload is getting hammered again by the same type of traffic but this time the spool is EMPTY(same with the counters on the webadmin).

but i'm still getting:
0-03-10 13:50:02 128VTn-0006TK-0o Remote host d.mx.mail.yahoo.com [209.191.88.254] closed connection in response to end of data
2010:03:10-13:54:01 astaro exim[19951]: 2010-03-10 13:54:01 128VTn-0006TK-0o Remote host f.mx.mail.yahoo.com [98.137.54.237] closed connection in response to end of data
2010:03:10-13:54:01 astaro exim[19950]: 2010-03-10 13:54:01 128VTn-0006TK-0o == address@yahoo.com.ar R=dnslookup T=remote_smtp defer (-18): Remote host f.mx.mail.yahoo.com [98.137.54.237] closed connection in response to end of data
2010:03:10-13:54:01 astaro exim[19949]: 2010-03-10 13:54:01 End queue run: pid=19949
2010:03:10-13:55:00 astaro exim[20294]: 2010-03-10 13:55:00 Start queue run: pid=20294
2010:03:10-13:55:02 astaro exim[20296]: 2010-03-10 13:55:02 128VTn-0006TK-0o SMTP error from remote mail server after initial connection: host e.mx.mail.yahoo.com [67.195.168.230]: 421 Message from (200.69.233.115) temporarily deferred - 4.16.50. Please refer to http://help.yahoo.com/help/us/mail/defer/defer-06.html 

and the pc who sent the mails still gets delayed messages even though the mail was supposedly deleted.

what's going on?, how can i kill/flush the queue for real(and why are the logs so... useless to trace problems...)


This thread was automatically locked due to age.
  • 0
    All the outgoing mail is queued in /var/storage/chroot-smtp/spool/input/input. Be careful when deleting stuff from there. You should be seeing that in your mail manager. Also check the underlying reason. Somebody is spamming yahoo and that is why your IP is being deferred. Find out the root cause.
  • 0
    being deferred is one issue.
    the main one is the magic mail never appearing after i've deleted it.

    i'll nuke the input folder then, simple solution.

    Addendum:
    Billy, the problematic mail wasn't in that folder, it was in /var/storage/chroot-smtp/spool/output/0/input isn't that the output one?

    anyway, i deleted the offending file there and voila!, no more useless upload traffic
  • 0 in reply to Mast_01
    the problematic mail wasn't in that folder, it was in /var/storage/chroot-smtp/spool/output/0/input isn't that the output one?

    anyway, i deleted the offending file there and voila!, no more useless upload traffic


    Astaro has moved a few things around to make it easier for themselves. I am glad you found the right directory. Most of the time the builtin exim commands fix problems like this but astaro doesn't allow that either. 
    [:S]I still don't understand why these mails didn't show up in mail manager.
  • 0
    Thanks MAST and Billybob. I was having this issue for some time and now seems to be OK. I will have to watch it for a while until some more mails to yahoo come into the queue. Funny thing is that only emails to Yahoo seemed to be queued up and causing this.
  • 0 in reply to Billybob
    Billy, probably some horrid bug, i'm guessing the system never actually deleted the file from the queue when i deleted it in the mail manager(probably deleted some pointer in the database or sthing, maybe a permission error?).
    Hence the mail dissapeared in mail manager or mm smtp log but the retries still appeared on the smtp proxy log.

    I don't know if this is an isolated or recurrent bug as it's the first time i delete a mail in the queue since installation(i think this FW started as 7.2)


    Astaro has moved a few things around to make it easier for themselves. I am glad you found the right directory. Most of the time the builtin exim commands fix problems like this but astaro doesn't allow that either. 
    [:S]I still don't understand why these mails didn't show up in mail manager.
  • 0 in reply to Mast_01
    I've seen the same problem when one sends an email larger than 10MB to a user with a yahoo email address... it hammers the upstream bandwidth until the email is deleted from the spool. Something about the way Yahoo handles size limits triggers this, have had no problems from other ISPs.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0
    Hi,

    I flushed the queues and it was OK for some time until some mails came for yahoo addresses (This happens with email as small as 2MB). Now the out link is maxed again. Can anyone confirm if its a bug?

    Thanks

    Amal
  • 0
    the problem is twofold:
    1) yahoo is retardedly delaying your mails(they have no better thing to do than being total retards about incoming mail)
    2) Astaro has a bug in the way it handles the delay because it should NEVER attempt to send the entire attached mails and hammer the yahoo servers if the remote server delays the message first. What it does now is that yahoo answer "delayed" and ASL goes "continuos send, send, hammer, hammer, send send" blindly, totally ignoring the server response and totally ignoring any retry time(it should retry after 5 to 15min, not 5 to 15 mS)
  • 0 in reply to Mast_01
    Mast, I started a case on this same issue for one of my customers; I'll keep this thread updated with what I find out.  In this customer's case, it only happens when the email is going to a yahoo.com domain and it's over 10MB in size.  I suspect the issue has the same causes as yours though.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • 0
    would a good workaround for now be to QOS smtp to a lower level?  this way when this occurs you can at least use your connection.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Cookie Information Banner