Прежде всего нужно сделать саму кнопку. То. есть создать некий блок со своими стилями -«параметрами красоты» Сделать это можно с помощью генератора кнопок https://iksweb.ru/tools/cnopka/ задаете нужные вам значения и получаете CSS для своей кнопки.
Затем добавляете значения CSS как стили блоков пагинации для следующей записи
.post-navigation-link-next has-text-align-center wp-block-post-navigation-link
{
}
Для предыдущей
.post-navigation-link-previous has-text-align-center wp-block-post-navigation-link
{
}