Спасибо, проблема была действительно в постоянных ссылках. Надо было выбрать пункт «Произвольно» и ввести в пустое поле /%postname%
Я учу WP по видеокурсу, в котором в частности рассматривается создание своей темы. Да и в стандартных темах (например, Twenty Seventeen) тоже вместо ошибки 404 показывается главная страница.