Dwór ten zbudowany został w XIX wieku. Pierwotnym właścicielem dworu był ród Siemieńskich, który jednak nie zdołał w okresie II wojny światowej utrzymać swego majątku.
Po 1945 roku urządzono tu szkołę. Od 1994 roku dwór stoi pusty, niewykorzystany w żaden sposób. Wciągu lat zmienia się w coraz bardziej szarą ruinę.
Dla mieszkańców Żytna ruina ta stanowi najważniejszą chlubę miejscowości, o czym świadczy fakt, iż zamieszczono jego zdjęcie na witrynie internetowej miejscowości Żytno.