Как можно вставить картинку в описание рубрики?

1. да это то что нужно

Ни секунды в этом не сомневался

2.1. Где вставляются/сохраняются картинки для рубрик
2.2. Как они привязываются к рубрикам?
(правильно ли я понимаю что это можно сделать плагином Categories Images?)

Верно поняли. Устанавливаете плагин и можно будет прикреплять картинки прямо в админке в рубриках: http://prntscr.com/8tbmqo

Еще вопрос — а картинки загружаются сразу при загрузки страницы или по мере наведения?
Т.е. если таких рубрик много это может тормозить загрузку страницы так как она получится очень тяжелой.

Да. Подгружаются сразу. Ничто не мешает использовать миниатюры размером 100×100 и весом 5-7кб

2.3.Куда вставлять это код

Это из кода выше, где нужно было получить URL картинки

2. Не совсем понял как все же это сделать?

Я, к можалению, не могу (да и не хочу) полностью углубляться, ибо зависит это от используемой Вами темы, плагинов, виджетов и прочего…
Но смысл следующий.
1. При помощи плагина прикрепляете картинки к рубрикам.
2. Список рубрик должен состоять из ссылок типа:

<a class="rubrika" href="#"><span><img src="<?php echo $imgurl;?>"/></span></a>

Получение самих URL в цикле:

<?php
if (function_exists('z_taxonomy_image_url')){
$imgurl = z_taxonomy_image_url();
} ?>

если без цикла, то в z_taxonomy_image_url(); нужно указать id нужной категории.
Ну и стили CSS

.rubrika span{
    border-radius: 5px 5px 5px 5px;
    visibility: hidden;
    position: absolute;
    left: 200px;
    background: #fff;
    box-shadow: -2px 2px 10px -1px #333;
    border-radius: 5px;
}

.rubrika:hover span{
visibility: visible;
}

Дальше копайте самостоятельно.
Хотите более глубокой помощи — смогу помочь, но не бесплатно (дело в отнятом времени) :).
Либо может найдутся ещё желающие копнуть.
А может и проще варианты имеются.

кода (который нужно будет при обновлении темы опять прописывать)?

Любые изменения в коде темы удалятся при её обновлении. ЛЮБЫЕ.
Вариант — создать дочернюю тему и в ней вностить правки, однако и эти правки могут быть работоспособны до поры до времени (пока тему не перелопатят вдоль и поперёк).
Потому с этим фактом нужно просто смириться или выбрать один из 3-х вариантов:
1. Смириться
2. Вносить правки при каждом обновлении темы
3. Не обновлять тему НИКОГДА.

А по поводу того в каком виде решение — судя по задаваемым вопросам — уже ни в каком… 🙂
Поймите, если вы с подхода «чуете» подвох, то сотрудничества не выйдет. Любое ваше вмешательство в код и обвинять Вы будете меня. Спасибо, увольте. 🙂

Если будете в состоянии отвечать на вопросы — помогу бесплатно.

Что имеется ввиду?

Судя по вопросам, которые Вы задаете — опыта у Вас мало. Могут возникнуть сложности в понимании. Я не умею доходчиво объяснять 🙂 Не учился этому.

Беспокоит то что если таких мест будет несколько могут начаться проблемы

Не обновляйте тему, и «проблемы» не начнутся.
Дайте ссылку на сайт с рубриками, к которым нужно «приделать» всплывающие картинки.