Zámek vznikl z původního hradu pocházejícího ze 13. století. Na přelomu 15. a 16. století byl hrad pozdně goticky upraven, koncem století 16. pak prošel renesanční přestavbou. Z opevnění, vybudovaného kolem města a hradu v této době, se do současnosti dochovala tzv. Čertova zeď, brána předhradí, část severní zdi a západní bašta. Nová zámecká část na severu hradního areálu byla vybudována v letech 1581-1584.

Známou zajímavostí zámku je sloup v jedné ze síní, který připomíná kmen podpírající vířivou klenbu se žebry v podobě větví.
V malém nádvoří jsou zachovány zbytky ornamentálních maleb podle nizozemských vzorů.