Hab selber noch nicht mit Joomla gearbeitet, sollte aber so wie hier beschrieben funktionieren.
http://www.inmotionhosting.com/suppo.../edit-template

Und das gehört ins template rein:
http://xivdb.com/?tooltip

Du hörst dich noch eher unerfahren in dem Bereich an, daher würd ich dir vor dem Bearbeiten unbedingt empfehlen, eine Sicherungs-Kopie zu erstellen - zumindest von den einzelnen Dateien die du anfasst.