This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

[8.100] SMTP Proxy: Mails landen in der Error Queue

Hallo zusammen,

seit einigen Tagen habe ich ein recht nerviges Problem mit dem SMTP-Proxy. E-Mails, egal ob "Incoming" oder "Outgoing" landen sporadisch im SMTP-Spool, markiert als "Error".

Doppelklick auf die Mail im Mail Manager (SMTP Spool) zeigt mir nur den Mail-Inhalt, nicht aber den eigentlichen Fehler. Ein "Retry" behebt das Problem dann meist, die Mail wird an den internen Mailserver oder an den eingestellten Smarthost zugestellt. Manchmal bleiben die Mails aber hartnäckig und die Aufforderung zum Retry muss mehrfach für diese Mails abgesetzt werden. Irgendwann gehen sie dann durch. Automatisch passiert das leider nicht, so dass ich jetzt täglich immer wieder über den Mail Manager in die SMTP Warteschlange gucken muss, ob wieder was hängen geblieben ist.

Über die Console habe ich versucht, der Sache etwas auf den Grund zu gehen. Dabei habe ich dann auch einen Hinweis auf das Problem in der Datei "/var/log/smtp.log" gefunden:

MASTER[5729]: 1PhMXl-0004h8-2L Scanner timeout or deadlock - moving to error queue

Die Mails bleiben also in der Warteschlange mit Fehler hängen, weil es zu einem Scanner-Timeout oder "Deadlock" kommt. Merkwürdigerweise gehen viele Mails unbehelligt durch das System durch und werden korrekt und ohne Probleme durchgestellt. Manche Mails schaffen das allerdings nicht, der Scanner nimmt sich dann eine Auszeit.

Ich habe schon versucht, den Virenscanner von "Double Scan" auf "Single Scan" umzustellen. Auch Versuche, ohne AntiSpam zu arbeiten führten noch nicht zum Erfolg. Sporadisch bleiben die Mails hängen, der SMTP Proxy versagt seinen Dienst. Reproduzieren kann ich das Problem leider auch nicht. Es sind immer wieder andere Empfänger oder Absender etc.

Was mich zudem sehr, sehr stutzig macht: E-Mails, die man per manuellem "Retry" endlich aus der Warteschleife befreien konnte und die dann beim Empfänger angekommen sind liegen weiterhin im Verzeichnis "/var/storage/chroot-smtp/spool/work" herum, werden vom Exim-Prozess aber (zum Glück) nicht mehr weiter beachtet. So habe ich hier eine ganze Menge Mails gefunden, die zwar dann doch irgendwann zugestellt wurden (nach manuellem Eingriff) aber vom Exim dann nicht mehr gelöscht werden. Ich hoffe, diese Mails werden nicht doch irgendwann nochmal zugestellt... das wäre extrem unschön wenn Kunden/Kontakte plötzlich mehrere Tage alte Mails doch nochmal bekommen.

Alles in allem ist dieses Problem äußerst nervig, einen Workaround habe ich noch nicht gefunden. Zur Zeit läuft das Mail-System auf der Astaro nicht sonderlich zuverlässig bzw. ich habe nicht das Gefühl, mich darauf verlassen zu können. Das Problem tritt nicht nur bei mir sondern in ähnlicher Form auch bei einem Kunden auf, der auch schon leicht genervt ist deswegen.

Neben den Content-Filtern (Antivir und Antispam) ist auch Mail Encryption für einige wenige interne Nutzer aktiviert.

Kennt jemand das Problem bzw. weiß, an welcher Schraube man drehen muss, damit der SMTP Proxy wieder zuverlässig arbeitet?


Ach so, das Mailaufkommen für den SMTP-Proxy ist nicht sonderlich hoch. Etwa 50-80 Mails pro Tag, die tatsächlich zugestellt werden (also ohne Spam, der schon vorher rausfliegt). Davon müssen etwa 50-60% von Hand aus dem SMTP-Spool befreit werden.


-- 
Gruß aus Bitburg,
byteorder / Andreas


This thread was automatically locked due to age.
Parents
  • Hallo

    wir schließen uns dem Thema an.
    Jedoch gab es das Problem schon seit einigen Wochen mit der Version 7.509.
    Liegt es am Virenscanner oder am AntiSpam.

    Die Zuverlässigkeit ist bzgl. Mailverkehr leider nicht mehr gegeben! 
    Astaro bitte Hilfe.

    Gruß aus Luxemburg
    Heiko

    Hallo zusammen,

    seit einigen Tagen habe ich ein recht nerviges Problem mit dem SMTP-Proxy. E-Mails, egal ob "Incoming" oder "Outgoing" landen sporadisch im SMTP-Spool, markiert als "Error".

    Doppelklick auf die Mail im Mail Manager (SMTP Spool) zeigt mir nur den Mail-Inhalt, nicht aber den eigentlichen Fehler. Ein "Retry" behebt das Problem dann meist, die Mail wird an den internen Mailserver oder an den eingestellten Smarthost zugestellt. Manchmal bleiben die Mails aber hartnäckig und die Aufforderung zum Retry muss mehrfach für diese Mails abgesetzt werden. Irgendwann gehen sie dann durch. Automatisch passiert das leider nicht, so dass ich jetzt täglich immer wieder über den Mail Manager in die SMTP Warteschlange gucken muss, ob wieder was hängen geblieben ist.

    Über die Console habe ich versucht, der Sache etwas auf den Grund zu gehen. Dabei habe ich dann auch einen Hinweis auf das Problem in der Datei "/var/log/smtp.log" gefunden:

    MASTER[5729]: 1PhMXl-0004h8-2L Scanner timeout or deadlock - moving to error queue

    Die Mails bleiben also in der Warteschlange mit Fehler hängen, weil es zu einem Scanner-Timeout oder "Deadlock" kommt. Merkwürdigerweise gehen viele Mails unbehelligt durch das System durch und werden korrekt und ohne Probleme durchgestellt. Manche Mails schaffen das allerdings nicht, der Scanner nimmt sich dann eine Auszeit.

    Ich habe schon versucht, den Virenscanner von "Double Scan" auf "Single Scan" umzustellen. Auch Versuche, ohne AntiSpam zu arbeiten führten noch nicht zum Erfolg. Sporadisch bleiben die Mails hängen, der SMTP Proxy versagt seinen Dienst. Reproduzieren kann ich das Problem leider auch nicht. Es sind immer wieder andere Empfänger oder Absender etc.

    Was mich zudem sehr, sehr stutzig macht: E-Mails, die man per manuellem "Retry" endlich aus der Warteschleife befreien konnte und die dann beim Empfänger angekommen sind liegen weiterhin im Verzeichnis "/var/storage/chroot-smtp/spool/work" herum, werden vom Exim-Prozess aber (zum Glück) nicht mehr weiter beachtet. So habe ich hier eine ganze Menge Mails gefunden, die zwar dann doch irgendwann zugestellt wurden (nach manuellem Eingriff) aber vom Exim dann nicht mehr gelöscht werden. Ich hoffe, diese Mails werden nicht doch irgendwann nochmal zugestellt... das wäre extrem unschön wenn Kunden/Kontakte plötzlich mehrere Tage alte Mails doch nochmal bekommen.

    Alles in allem ist dieses Problem äußerst nervig, einen Workaround habe ich noch nicht gefunden. Zur Zeit läuft das Mail-System auf der Astaro nicht sonderlich zuverlässig bzw. ich habe nicht das Gefühl, mich darauf verlassen zu können. Das Problem tritt nicht nur bei mir sondern in ähnlicher Form auch bei einem Kunden auf, der auch schon leicht genervt ist deswegen.

    Neben den Content-Filtern (Antivir und Antispam) ist auch Mail Encryption für einige wenige interne Nutzer aktiviert.

    Kennt jemand das Problem bzw. weiß, an welcher Schraube man drehen muss, damit der SMTP Proxy wieder zuverlässig arbeitet?


    Ach so, das Mailaufkommen für den SMTP-Proxy ist nicht sonderlich hoch. Etwa 50-80 Mails pro Tag, die tatsächlich zugestellt werden (also ohne Spam, der schon vorher rausfliegt). Davon müssen etwa 50-60% von Hand aus dem SMTP-Spool befreit werden.


    -- 
    Gruß aus Bitburg,
    byteorder / Andreas
  • Hallo Heiko,


    Jedoch gab es das Problem schon seit einigen Wochen mit der Version 7.509.


    Könntest du bei eurer v7 mal in oben genannter Log-Datei "/var/log/smtp.log" nachsehen, ob dort die gleiche Fehlermeldung auftaucht wie in meinem Ausgangsbeitrag beschrieben? Ich habe im Netz gerade im Zusammenhang mit diesem Problem und der v7 auch häufiger gesehen, das hier ein "Scanner Crash" und kein "Timeout" gemeldet wird.

    Desweiteren würde mich auch interessieren, ob auf eurer v7 die ursprünglich mit Fehler markierten Mails nach dem dann irgendwann manuell initiierten Versand weiterhin im Work-Spool-Verzeichnis des Exim liegen bleiben. Die Mails (dann auch noch recht alte) dürftest du dann unter

    /var/storage/chroot-smtp/spool/work

    finden.

    Falls ja, dann ist die ganze Sache nicht wirklich schön.


    Liegt es am Virenscanner oder am AntiSpam.


    Nach langem Testen (das Problem ist ja leider hier nicht so recht reproduzierbar) schließe ich Virenscanner und AntiSpam aus. Ich habe mittlerweile das Mail Encryption Modul im Verdacht.

    Genauer habe ich hier den Zugriff der Astaro auf einen evtl. konfigurierten PGP-Keyserver im Verdacht. Ist dieser mal nicht oder nur langsam erreichbar, dann steigt der Scanner mit einem Timeout aus und die die betreffende Mail wird nicht zugestellt.

    Ich habe hier auf meiner Astaro automatische Verschlüsselung sowie die automatische Überprüfung von signierten eingehenden Mails aktiviert, so dass der SMTP-Proxy bei eingehenden wie ausgehenden Mails nach Public-Keys der Empfänger bzw. Absender suchen muss. Der Timeout des Scannerprozesses ist aber so wie es für mich momentan aussieht zu kurz bemessen, so dass die Abfrage eines Keyservers, der zum Zeitpunkt nicht erreichbar ist gar keinen eigenen Timeout generieren kann.

    Hier müssten die Timeouts der vom Scanner angestoßenen Prozesse mit dem Scanner-Timeout evtl. "synchronisiert" werden, so dass es hier nicht zu Problemen kommt.


    Ich habe seit heute morgen die Mail Encryption soweit deaktiviert, bisher ist das Problem nicht mehr aufgetreten. Entwarnung möchte ich aber noch nicht geben... Vor allem ist das auch keine Lösung, wenn man auf die Mail Encryption angewiesen ist bzw. diese produktiv nutzt oder nutzen muss. Heiko, ich glaube, bei euch ist das so, oder?


    Zudem wäre es äußerst hilfreich, wenn der SMTP Proxy eine Mail auf Grund eines Fehlers diese zurück in die Warteschlange schiebt und mit "Error" markiert man diesen Fehler auch irgendwo einsehen kann. Wer hier nur Zugriff über den Mailmanager hat steht dann so ziemlich im Dunklen und hat eigentlich gar keine Chance, das Problem irgendwie in den Griff zu bekommen. Eine aussagekräftige Fehlermeldung würde da schon etwas weiterhelfen. Weiter wäre es schön, wenn die Astaro automatisch in regelmäßigen Abständen einen Neuversand der Mails starten würde... das passiert nämlich im hier vorliegenden Fall soweit ich es bisher beobachtet habe nicht.



    Die Zuverlässigkeit ist bzgl. Mailverkehr leider nicht mehr gegeben! 
    Astaro bitte Hilfe.


    Dem kann ich mich nur anschließen!


    -- 
    Gruß aus Bitburg,
    byteorder / Andreas
Reply
  • Hallo Heiko,


    Jedoch gab es das Problem schon seit einigen Wochen mit der Version 7.509.


    Könntest du bei eurer v7 mal in oben genannter Log-Datei "/var/log/smtp.log" nachsehen, ob dort die gleiche Fehlermeldung auftaucht wie in meinem Ausgangsbeitrag beschrieben? Ich habe im Netz gerade im Zusammenhang mit diesem Problem und der v7 auch häufiger gesehen, das hier ein "Scanner Crash" und kein "Timeout" gemeldet wird.

    Desweiteren würde mich auch interessieren, ob auf eurer v7 die ursprünglich mit Fehler markierten Mails nach dem dann irgendwann manuell initiierten Versand weiterhin im Work-Spool-Verzeichnis des Exim liegen bleiben. Die Mails (dann auch noch recht alte) dürftest du dann unter

    /var/storage/chroot-smtp/spool/work

    finden.

    Falls ja, dann ist die ganze Sache nicht wirklich schön.


    Liegt es am Virenscanner oder am AntiSpam.


    Nach langem Testen (das Problem ist ja leider hier nicht so recht reproduzierbar) schließe ich Virenscanner und AntiSpam aus. Ich habe mittlerweile das Mail Encryption Modul im Verdacht.

    Genauer habe ich hier den Zugriff der Astaro auf einen evtl. konfigurierten PGP-Keyserver im Verdacht. Ist dieser mal nicht oder nur langsam erreichbar, dann steigt der Scanner mit einem Timeout aus und die die betreffende Mail wird nicht zugestellt.

    Ich habe hier auf meiner Astaro automatische Verschlüsselung sowie die automatische Überprüfung von signierten eingehenden Mails aktiviert, so dass der SMTP-Proxy bei eingehenden wie ausgehenden Mails nach Public-Keys der Empfänger bzw. Absender suchen muss. Der Timeout des Scannerprozesses ist aber so wie es für mich momentan aussieht zu kurz bemessen, so dass die Abfrage eines Keyservers, der zum Zeitpunkt nicht erreichbar ist gar keinen eigenen Timeout generieren kann.

    Hier müssten die Timeouts der vom Scanner angestoßenen Prozesse mit dem Scanner-Timeout evtl. "synchronisiert" werden, so dass es hier nicht zu Problemen kommt.


    Ich habe seit heute morgen die Mail Encryption soweit deaktiviert, bisher ist das Problem nicht mehr aufgetreten. Entwarnung möchte ich aber noch nicht geben... Vor allem ist das auch keine Lösung, wenn man auf die Mail Encryption angewiesen ist bzw. diese produktiv nutzt oder nutzen muss. Heiko, ich glaube, bei euch ist das so, oder?


    Zudem wäre es äußerst hilfreich, wenn der SMTP Proxy eine Mail auf Grund eines Fehlers diese zurück in die Warteschlange schiebt und mit "Error" markiert man diesen Fehler auch irgendwo einsehen kann. Wer hier nur Zugriff über den Mailmanager hat steht dann so ziemlich im Dunklen und hat eigentlich gar keine Chance, das Problem irgendwie in den Griff zu bekommen. Eine aussagekräftige Fehlermeldung würde da schon etwas weiterhelfen. Weiter wäre es schön, wenn die Astaro automatisch in regelmäßigen Abständen einen Neuversand der Mails starten würde... das passiert nämlich im hier vorliegenden Fall soweit ich es bisher beobachtet habe nicht.



    Die Zuverlässigkeit ist bzgl. Mailverkehr leider nicht mehr gegeben! 
    Astaro bitte Hilfe.


    Dem kann ich mich nur anschließen!


    -- 
    Gruß aus Bitburg,
    byteorder / Andreas
Children
  • Hallo Andreas und Community

    wir haben unsere ASGs schon auf V. 8.100 aktualisiert. Leider kann ich dir keine Log unter V7 mehr liefern.

    Der Hinweis mit dem PGP-Keyserver scheint richtig zu sein. Ich habe einfach das Feld "OpenPGP-Schlüsselserver" leer gemacht und siehe da: Die Mails sind alle durchgestellt worden ins interne Netz.

    Stellt sich jetzt nur die Frage, ob ich dadurch irgendwelche Einschränkungen bei der Verschlüsselung habe. Eigentlich wollen wir ja nur mit den Partnern Mailverschlüsselung betreiben, die uns bekannt sind und deren Key wir im System haben.

    Grüße aus Lux

    Heiko
  • Hallo Heiko,



    wir haben unsere ASGs schon auf V. 8.100 aktualisiert. Leider kann ich dir keine Log unter V7 mehr liefern.


    Ok, hätte mich nur mal interessiert... ich glaube nämlich, intern hat sich im SMTP-Proxy was den Scanner angeht zwischen v7 und v8 ein bißchen was getan, unter anderem auch was die Informationen im Log angeht.


    Der Hinweis mit dem PGP-Keyserver scheint richtig zu sein. Ich habe einfach das Feld "OpenPGP-Schlüsselserver" leer gemacht und siehe da: Die Mails sind alle durchgestellt worden ins interne Netz.


    Ja, hier funktioniert es auch noch. Noch bin ich voller Hoffnung, dass es das war. ;-)


    Stellt sich jetzt nur die Frage, ob ich dadurch irgendwelche Einschränkungen bei der Verschlüsselung habe. Eigentlich wollen wir ja nur mit den Partnern Mailverschlüsselung betreiben, die uns bekannt sind und deren Key wir im System haben.


    Wenn du im System die Public-Keys der Partner fest hinterlegt hast, dann ist das ok. Automatische Verschlüsselung und die Überprüfung der Signaturen dürfte dann weiterhin funktionieren. Die Astaro muss dafür dann nicht auf einen externen Keyserver zugreifen. Nur für Fremdschlüssel bzw. Kontakte, deren Schlüssel nicht auf der Astaro liegen wird der Key angefragt (also bei jeder Mail die reinkommt oder rausgeht).

    Ist natürlich schade, dass das autom. Prüfen an einem Keyserver solche Probleme verursachen kann. Ein Bugfix wäre hier schön (so es das Problem überhaupt ist -- muss sich ja noch zeigen).

    @Heiko ich schick dir heute abend mal einen meiner PublicKeys, dann können wir testen, ob eure Astaro automatisch verschlüsselt. Das ist ja auch noch so ein Punkt, wo Astaro evtl. noch etwas nachbessern könnte -- eine Nachvollziehbarkeit des Encryption-Moduls in den Logs... wenn man im Mailmanager sehen könnte, ob eine Mail verschlüsselt wurde, bevor sie raus ginge würde das Überprüfen der Einstellungen enorm vereinfachen. ;-)
  • Ist denn der Keyserver down, der angefragt wird? Standard ist dieser eingetragen gewesen: http://wwwkeys.nl.pgp.net:11371

    Oh Ja, ein vernünftiges Loggen der Verschlüsselung wäre sehr zu wünschen. Das ist bei Problemen wie Angeln im Trüben. 

    Heiko
  • Ist denn der Keyserver down, der angefragt wird? Standard ist dieser eingetragen gewesen: http://wwwkeys.nl.pgp.net:11371


    Der Server antwortet zwar auf dem Port, aber eine Anfrage bzw. ein Abfragen eines bestimmten Keys dauert gefühlt ewig. Der Server hat so wie es aussieht gerade ein paar Problemchen... das nährt natürlich jetzt den Verdacht, dass das Timeout-Problem im SMTP-Scanner von dieser Keyserver-Abfrage kommt...

    Das sagt mein GnuPG:


    [FONT="Courier New"]$ gpg --keyserver http://wwwkeys.nl.pgp.net:11371 --recv-key ABCDEFGH
    gpg: fordere Schlüssel ABCDEFGH von http-Server wwwkeys.nl.pgp.net an
    gpg: Schlüsselserver-Zeitüberschreitung
    gpg: Empfangen vom Schlüsselserver fehlgeschlagen: Schlüsselserverfehler

    $[/FONT]


    PS: Ich habe da oben natürlich eine real existierende Key-ID benutzt, ABCDEFGH ist nur ein Platzhalter...