Nekako na robu glavnih prometnih tokov v mestu ostaja predel Pungerta na konici pomola (Trubarjev trg). Že ime izdaja (iz nemškega Baumgarten – ’sadovnjak’), da so bili tu predvsem vrtovi meščanov, ki so bili morda tudi zatočišče okoličanom ob požarih ali v nevarnih časih. Tak prostorski element zasledimo še v drugih srednjeveških mestih (na primer v Radovljici). Na Pungertu najdemo danes še edini v celoti ohranjeni srednjeveški obrambni stolp iz 16. stoletja, kot se je ohranil po poznejših prezidavah, ko je služil za mestno ječo (1832) in pozneje celo za stanovanja. V neposredni bližini stolpa so med kugo v 15. stoletju zgradili gotsko rebrasto obokano podružnično cerkev, posvečeno zaščitnikom pred smrtonosno boleznijo, sv. Fabijanu, sv. Sebastjanu in sv. Roku. Zvonik in lopa sta bila prizidana v 18. oziroma 19. stoletju.