Původně na ostrohu nad městem stával gotický hrad, v 15. století rozšiřovaný, v 16. století upravený do renesanční podoby. Na jeho místě bylo po jeho zničení vystavěno v letech 1622-1624 nové sídlo - renesanční zámek. Ten byl v letech 1728-1734 barokně upraven. Jeho současná podoba pochází z roku 1857.
Dominantou zámku je 13 m vysoká obytná hranolová věž zvaná Vlčkova, která je posledním pozůstatkem původního hradu. Pochází zřejmě z doby po roce 1278. Zámek má dvě nádvoří, Dolní a Horní. První neboli Doní nádvoří je původní předhradí, které bývalo od Horního odděleno hradním příkopem.

Nedaleko zámku severovýchodním směrem se nachází předsunuté opevnění zvané Haselburg. Válcová věž z roku 1479 je částečně obklopena pozůstatky dříve dvojitých hradeb.

V zámku je dnes umístěno Městské muzeum a správa Národního parku a Chráněné krajinné oblasti Šumava.