This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

[7.501][BUG] False positives from pbl.spamhaus.org

We were having a small problem with a few of these beginning 05 November.  Today, we really got slammed.  I'm working a case with US Support.  Here's part of what I told them; I included an extract from our SMTP log in my submission to them:
I searched for all of the lines with “blacklisted at pbl.spamhaus” in the last 30 days.  I massaged the file so I could manipulate it in Excel.  I deleted all of the real spams and wound up with 46 instances of pbl giving false positives.  No problem existed from 10/18 through 11/04, then there were several, and a whole ton of them today.  To the end of each line, I added the actual domain name of the IP address.  I checked every IP against spamhaus, and none was listed.

I know for a fact that most of these are not newly-acquired IPs, and suspect that none are.  The IPs for our domain have been constant for several years.  My personal;, family domain is unchanged since its creation.  My customers haven’t changed their IPs.  There even was an email rejected from supportus@astaro.com from 213.144.15.13 – doesn’t that strike you as unusual?

I have removed zen.spamhaus.org and now have only sbl-xbl.spamhaus.org and cbl.abuesat.org as explicitly-named RBLs.


It's very strange that the Astaro continues to reject emails based on pbl.spamhaus.org in spite of the fact that I've disabled 'Use recommended RBLs' and only explicitly listed the two above.  I've now deleted all spamhaus RBLs, but continue to get rejections based on pbl.

Cheers - Bob


This thread was automatically locked due to age.
  • I can't explain why it's still active after you change the settings, but keep in mind that PBL will block mail from all "residential" connections.

    Barry
  • That was the trick, Barry - pbl.spamhaus.org is consulted when you check the 'Block dialup/residential hosts' box (I'm sure everone at Astaro knows that, but, somehow, it's not clear to anyone else).  I unchecked the box and added sbl-xbl.spamhaus.org back to the explicit list.

    All seems well now.  It'll be interesting to see how much spam actually gets through.

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • Astaro closed the case with my report of this, and I just got another customer with the same problem.

    For a little entertainment, notice how my customer's IP is tagged by pbl as "residential" one minute, OK the next, and then is rejected again the next minute.

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • Bob - 

    in a pragmatic sense, wouldn't this simply come back to the point "this person is a customer, ergo I whitelist him?" (temporarily or not).

    I agree with the need for clarity on the blacklisting logic & documentation behind its arcane functions though...and I was entertained by your screenshot, for what it's worth.

    I have a ton of customers setting up shop at home too (although the percentage of them that realize they are violating their ISP's Usage agreement by using their link for commercial purposes is probably zero) and these occurrences (while not daily) *are annoying*.  However, the reduction in number of "I got spam!" calls generated to my help desk by using these functions, versus the calls from "broken" customer connections is still incomparable.

    Still clarity would be nice.

    -stoomaroo
  • Thanks, stoomaroo,

    Our problem with pbl is not related to any home businesses.  All such false positives were on long-term, fixed IPs.  Hewlett-Packard's mail servers, Gmail and others were blocked at random, then a subsequent email was not rejected.  No whitelisting involved.

    I don't think it has to do with a lack of clarity; if pbl responds with "Yes, that IP is on the blacklist," then the Astaro will reject the email.  If there is a "No" or no response, the SMTP Proxy continues to process the email with other Anti-spam and Anti-Virus checks.

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • if pbl responds with "Yes, that IP is on the blacklist," then the Astaro will reject the email. If there is a "No" or no response, the SMTP Proxy continues to process the email with other Anti-spam and Anti-Virus checks


    ...agreed - the expected behaviour on my side also.

    All such false positives were on long-term, fixed IPs. Hewlett-Packard's mail servers, Gmail and others were blocked at random, then a subsequent email was not rejected.


    my customer's IP is tagged by pbl as "residential" one minute, OK the next, and then is rejected again the next minute.


    But surely this can't be an Astaro bug issue? (Unless I have misread your posts) Even say, Spamhaus could hypothetically decide one day to put "0.0.0.0" in their RBL listings, and knacker everything (which I think is in another thread around here somewhere).  In the end, the efficiency of the Astaro comes back to the use of certain public blacklists (a dependency in use by all mail administrators).  You will always be at the mercy of blacklisting errors regardless of whether you use say, Astaro or a barracuda, MS Edge, Ironport...etc...etc?

    The only other option to counter this problem, would be for Astaro to maintain their own IP blacklist, versus allowing the use of public services. (mind you, if I remember reading correctly, Spamhaus' services are *not* free if you are using it for commercial purposes)

    I get the feeling we're agreeing here - but I'm just interpreting your original question differently....or basically Barry answered the question...?

    hmmm...I need more (less??) coffee methinks?  Always fun to chat though.

    -Stewart (stoomaroo)
  • Thanks, Stewart, I agree that this is a spamhaus issue and that Astaro might want to consider its own blacklist service.  I report it as an Astaro bug because Astaro should have "standing" with spamhaus (I assume they pay a portion of the paid subscriptions to spamhaus) to get spamhaus to fix their problem - I suspect an unhappy employee or an inventive hacker.

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • Hello,

    Spamhaus is free for commercial(for spam filtering in your company, not for selling spam-filtering services to your customers) use, as long as it does not exceed a certain amount of blacklist-queries per day.
    See http://www.spamhaus.org/faq/answers.lasso?section=DNSBL%20Usage#220
    for details.

    Regards,
    Patrick
  • I think you misunderstood, Patrick.  My customer has an ASG120.

    Since this began, we've begun to suspect that our ISP, Cox Communications, is doing DNS hijacking; essentially, providing false positives at times.  The fact that my only other customer using the same DNS forwarders is having the same problem would seem to confirm this.  I intend to get us both switched over to OpenDNS or similar.

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • Bob -- a clear-cut winner in my corporate environment too.

    I use it as a primary resolver on my redundant MXs, and secondary on my primary MXs.  However, I switch the order around every couple of months to compare hit ratios (i.e. how many are resolved by OpenDNS versus my ISP over period "x").

    They are on-par, if not better, than both my ISPs.  This includes the fact that I have a primarily Canadian-located customer base market as well. 

    One of the strengths of OpenDNS, like other MX protocols/technologies, they can be woven in as redundant services until you're sure they're ready for prime time.

    Stewart/Stoomaroo