wp_list_bookmarks — <li></li> не нужны.

Все, сам догадался 🙂
wp_list_bookmarks(‘category=20&title_li=&categorize=0&before=&after=’)

before и after — тескт до и после линок, соответственно!

Я понял, что between — это текст не между ссылки, а между ссылкой и ее описанием, в случае если оно выводится.

Таким образом, нужно добавить after= | — сделать так:
wp_list_bookmarks('before=&after=&category=20&categorize=0&title_li=&after= |');
Получим это:
<a>ссылка1</a> | <a>ссылка2</a> | <a>ссылка3</a> |

А как убрать последнюю |?

Спасибо! Это то, что нужно. Да и в дальнейшем способ часто пригодится.