Движок по умолчанию отдаёт robots.txt, в котором разрешено для индексации всё, кроме каталога /wp-admin/.
Если нет веских причин что-то в нём менять — лучше не менять 🙂
Yoast, например, придерживаются ещё более минималистичного подхода:
# This space intentionally left blank
# If you want to learn about why our robots.txt looks like this, read this post: https://yoa.st/robots-txt
User-agent: *
йоаст все запреты прописывает через мета-теги — поэтому и robots.txt у них пустой.
а так — как минимум метки, страницы с результатами поиска, 404-ошибку и прочее — надо закрыть.
