Bis dato war es nicht ohne Weiteres möglich, HTML in Bildunterschriften zu verwenden. Denn WordPress hat es einfach nicht unterstützt.

Die Entwickler hinter WordPress haben sich diesem Problem angenommen.
In WordPress 3.4 werden deshalb nativ Bildunterschriften mit HTML unterstützt.

Der Dialog für die Metadaten mit ausklappbaren Formular.

Eine Beispielausgabe anhand des Standardthemes.

Weitere Infos können im Trac Ticket #18311 verfolgt werden.

PS: WordPress 3.4 ist (noch) für Ende April geplant.