Dominantou vsi Žďárné kromě kostela je i takzvaný zámek. Vznikl současně s výstavbou kostela, pravděpodobně v letech 1758 - 1759. O jeho výstavbě nejsou žádné zprávy a prameny z doby jeho existence v archivu boskovického velkostatku jsou velmi chudé. První nepřímá zpráva o něm je ve žďárenské matrice v roce 1758, kdy je v ní poprvé uveden Antonín Kuhn prefectus venatorum ve Žďárné. V zámku byl totiž po jeho vzniku umístěn lesní úřad boskovického panství. Z matrik se dovídáme, že v zámku sídlili lesmistři (Waldbereiter) s
personálem. V roce 1839 při velkém požáru vesnice vyhořel i zámek a po jeho opravě byl snížen o jedno poschodí . Byl i nadále sídlem lesního úřadu boskovického velkostatku.
V současné době je budova neobydlena a ve značně špatném technickém stavu. V roce 2002 byla celkově opravena střecha