This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

invisible outgoing email saturating upload

i'm having a problem with yahoo mailservers which constanly delay mail and as such my upload es getting hammered by ASG which continuously retries even when the remote server turns a deferred return or broken pipe.

yesterday i saw the offending mail in the smtp spool in the mail manager and deleted, all is well until some hours after in which the upload is getting hammered again by the same type of traffic but this time the spool is EMPTY(same with the counters on the webadmin).

but i'm still getting:
0-03-10 13:50:02 128VTn-0006TK-0o Remote host d.mx.mail.yahoo.com [209.191.88.254] closed connection in response to end of data
2010:03:10-13:54:01 astaro exim[19951]: 2010-03-10 13:54:01 128VTn-0006TK-0o Remote host f.mx.mail.yahoo.com [98.137.54.237] closed connection in response to end of data
2010:03:10-13:54:01 astaro exim[19950]: 2010-03-10 13:54:01 128VTn-0006TK-0o == address@yahoo.com.ar R=dnslookup T=remote_smtp defer (-18): Remote host f.mx.mail.yahoo.com [98.137.54.237] closed connection in response to end of data
2010:03:10-13:54:01 astaro exim[19949]: 2010-03-10 13:54:01 End queue run: pid=19949
2010:03:10-13:55:00 astaro exim[20294]: 2010-03-10 13:55:00 Start queue run: pid=20294
2010:03:10-13:55:02 astaro exim[20296]: 2010-03-10 13:55:02 128VTn-0006TK-0o SMTP error from remote mail server after initial connection: host e.mx.mail.yahoo.com [67.195.168.230]: 421 Message from (200.69.233.115) temporarily deferred - 4.16.50. Please refer to http://help.yahoo.com/help/us/mail/defer/defer-06.html 

and the pc who sent the mails still gets delayed messages even though the mail was supposedly deleted.

what's going on?, how can i kill/flush the queue for real(and why are the logs so... useless to trace problems...)


This thread was automatically locked due to age.
  • William, indeed, the workaround for this is to create a QoS rule.  Astaro Support responded and told me the Yahoo email issues are a known issue, and that there is a problem with the way Yahoo "cuts off" email communications when size limits, etc. are reached.  They are working on ways to get around this, such as maybe limiting file size for just the single domain (right now it's a global setting)... In the meantime, I'll share the example QoS rule they said should help...

    Suggestion for a QoS rule:

    Yahoo mail servers listing:

    ;; ANSWER SECTION:
    yahoo.com. 902 IN MX 1 a.mx.mail.yahoo.com.
    yahoo.com. 902 IN MX 1 b.mx.mail.yahoo.com.
    yahoo.com. 902 IN MX 1 c.mx.mail.yahoo.com.
    yahoo.com. 902 IN MX 1 d.mx.mail.yahoo.com.
    yahoo.com. 902 IN MX 1 e.mx.mail.yahoo.com.
    yahoo.com. 902 IN MX 1 f.mx.mail.yahoo.com.
    yahoo.com. 902 IN MX 1 g.mx.mail.yahoo.com.
    yahoo.com. 902 IN MX 1 h.mx.mail.yahoo.com.

    Goto Definitions>>Networks
    From this listing create a DNS host for each mx mail server Add all DNS hosts to a Network group - Yahoo Mail Servers

    Network>>Quality of Service
    Enabled External Interface
    Select the Traffic Selectors Tab

    Create a new Selector:
    Name: Yahoo Mail Servers
    Source: Any
    Service: SMTP
    Destination: Yahoo Mail Servers
    TOS: Off
    Save

    Select Bandwidth Pools Tab
    From dropdown select External
    Select New Bandwidth Pool
    Name: Yahoo Mail Servers
    Bandwidth: 1
    Select Specify upper bandwidth limit
    Limit: 50
    Select Traffic Selector: Yahoo Mail Servers Save

    Enable the QoS rule and any mail sending to Yahoo will now be limited to an upper speed of 50kbit/s

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • That's not the philosophy i was looking for.  i didn't want to rate limit them just have it be a lower priority.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • William, it's only a workaround, to be sure -- but this will at least keep my customer from choking themselves off from the internet should one of them slip up and send a large email to a yahoo.com email address.  I'm sure they're working on a better, permanent fix.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.

  • I know this is not the solution but I always use a smarthost for outgoing email along with QoS for smtp. That way the email is sent once from astaro and yahoo can play games with the smarthost. If your ISP doesn't provide one, use gmail as your smarthost.
  • use gmail as your smarthost.

    I'd like to do that for a charity that I donate my time to.  What's the trick?

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • or run your own smarthost..[:)]

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • I'd like to do that for a charity that I donate my time to.  What's the trick?

    Cheers - Bob


    I haven't played it with much but in your gmail account settings, you can enable pop access which enables clients like outlook etc to connect to gmail using pop and enables smtp for outbound access.
    Only thing I am not sure about is that if it puts yourname@gmail.com as the sender of the mail every time.[:P]
  • your server has to be able to do ssl connections as gmail only does ssl/tls for imap, pop, and smtp.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • Ok since I made the suggestion so I did the testing[;)] Astaro will use gmail as a smarthost and it actually worked flawlessly. Only thing is what I was worried about, it uses your name @ gmail for every mail sent so really its of no use here. Sorry for the confusion[:$] I guess gmail is not a true smarthost, since it rewrites headers of every email. Time to call your ISP and ask them for a smarthost.

    Edit: Ofcourse you can have every mail coming from bob@gmail .com if its for charity [:D]
  • nod or get a mail account for 10/month or less that supports smarthosting.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow