Colorbox в примерах на вышеуказанном сайте тоже умеет показывать подписи, однако в реальности почему-то не показывает. Сами подписи разумеется есть
Да, плагин.
Colorbox — a jQuery lightbox
http://www.jacklmoore.com/colorbox/
CSS применяется к классу wp-caption-text.
Если нет подписи, то и не к чему её применять