Původně gotický hrad Kámen ční na skalnatém útesu nad stejnojmennou obcí 16 km západně od města Pelhřimova a 7 km jižně od Pacova.

První zprávy o hradu pocházejí z roku 1316. V roce 1450 za vlády Jiřího z Poděbrad se Kámen stal dějištěm mírových jednání mezi Zelenohorskou jednotou Oldřicha z Rožmberka a královskou stranou. Až do počátku 16. století se na hradě často měnili majitelé. Tehdy jej získali Malovcové, kteří ho ve třetí čtvrti 17. století nechali přestavět do zámecké podoby. V letech 1860-1870 byl Kámen tehdejším majitelem Enisem z Atteru upraven ve stylu anglické romantické gotiky do současné podoby. Poslední úpravy byly dokončeny v roce 1916.

Hrad je obklopen ze tří stran předhradím, které bývalo uzavřeno hradebními zdmi. Z nich se dochovaly pouze krátké úseky na jižní straně věžového paláce a při bývalé hranolové vstupní věži. Vstupním prostorem je dnes brána v mohutné novogotické věži z druhé poloviny 19. století.
Nejstarší částí hradu je věžový palác pocházející z doby kolem roku 1300, k němuž z východu přiléhá čtyřkřídlá stavba obklopující malý vnitřní dvůr. V jižní části stojí hranolovitá věž s Rytířským sálem. K němu je připojena hradní kaple.

Od roku 1974 je na hradě umístěna expozice jednostopých vozidel, zejména motocyklů, a Mezinárodní motocyklové federace FIM, která byla založena v roce 1904 v nedalekém Pacově. Záhy poté, v letech 1905-1906, byl v Kameni vybudován první motocyklový závodní okruh v Čechách.