Muzeum se nachází v novorenesanční budově na západní straně náměstí Jiřího z Poděbrad. Budova z pískovce byla postavena roku 1887 dle projektu Františka Karažeje. Jak napovídá nápis nad vchodem, Okresní dům, sloužila budova jako sídlo samosprávného okresu. Muzejním účelům začala budova sloužit během protektorátu