Дубли страниц

Если они стали появляться после устранения взлома, значит либо взлом не устранен, либо устранен не качественно, либо Вас взломали опять, включая возможность того что это сделал тот кто устранял взлом перед этим, и последнее взлом с появление дублей никак не связан.

Если Вам нужно помочь в вопросе устранения взлома, защиты от взлома с какой-то гарантией — пишите: wp-support@мой логин(e-Raz.ru).

В случае если уверены что сайт защищен то ответ на вопрос «Возможно страницы пропадут со временем?» — нет, само по себе ничего не происходит. Удаляйте.
Возможно это результат ошибки где-то в настройках плагинов или их совместимости, возможно ошибка из-за работ по устранению взлома. Возможно все что угодно еще, без разбора не понять.