По-разному пытался, в итоге сделал:
Поставил sendmail, поставил WP-Mail-SMTP(v0.9.1). Почта при регистрации отсылается, все супер.Но плагин резервного копирования(WordPress Database Backup) перестал отсылать архивы.
Их несовместимость решил очень просто: в плагине резервного копирования заменил строку
do_action_ref_array( ‘phpmailer_init’, array( &$phpmailer ) );
на
do_action_ref_array( ‘phpmailer_init_smtp’, array( &$phpmailer ) );
можно добавить еще проверку на существование такой функции, но я пока без нее обошелся.
Почему же он пытался писать файл через http, мне до сих пор не ясно. Но игра с параметрами sendmail и ssmtp позволяла ее убрать, однако письмо с архивом так и не доходило.