В статье "Authenticated Sendmail over SSL and IMAP over SSL" рассказывается как в RedHat Linux 7.x/8.0 настроить релеинг по логину/паролю и обеспечить шифрование передаваемой информации (SMTP-AUTH, STARTTLS (SSL)).