Το παλάτι είναι γνωστό ως παλάτι Νεμιρόφ και βρίσκεται στο κέντρο της πόλης Νεμιρόφ που συνδέεται στενά με την ιστορία της οικογένειας Ποτοτσκί. Το παλάτι κατασκευάστηκε αρχικά από ξύλο με πρωτοβουλία του Βινσέντιου Ποτοτσκί τον 18ο αιώνα, αλλά τον 19ο αιώνα το παλάτι ανακατασκευάστηκε σύμφωνα με το σχέδιο του Φραντσίσκο Μεχόβιτς. Οι τελευταίοι ιδιοκτήτες του παλατιού ήταν η εγγονή του Μπόλεσλαβ Ποτοτσκί, η κόμισσα Μαρία Γκριγκορίεβνα και ο σύζυγός της, πρίγκιπας Αλεξέι Σερμπάτοβ. Το 1880 αποφάσισαν να χτίσουν ένα νέο παλάτι στη θέση του παλιού και 5 χρόνια αργότερα άρχισε η κατασκευή του νέου παλατιού. Το έργο της κατασκευής του παλατιού ανατέθηκε στον αρχιτέκτονα Τζίρι Στίμπραλ, ο οποίος σχεδίασε το παλάτι σε κομψό νεοκλασικό στιλ. Το διώροφο παλάτι εντυπωσιάζει με τη μεγαλοπρεπή στοά και την κιονοστοιχία του. Ιδιαίτερο ενδιαφέρον παρουσιάζει η αίθουσα όπου σήμερα στεγάζεται η τραπεζαρία, η οποία έχει διατηρήσει τη μοναδική ζωγραφική οροφής στην αρχική της κατάσταση. Αξιοσημείωτα είναι επίσης τα παράθυρα στην οροφή και τα φρεάτια φωτισμού, τα οποία βελτιώνουν σημαντικά τον φωτισμό των διαδρόμων. Η πολυτελής αίθουσα τελετών με το τζάκι σχεδιάστηκε ως χώρος για χορούς και δεξιώσεις. Το παλάτι περιβάλλεται από ένα γραφικό πάρκο 85 εκταρίων, που δημιουργήθηκε με τη βοήθεια του Βέλγου δασκάλου της τέχνης του κήπου Βαν Γκέερτ, το πάρκο είναι διακοσμημένο από λίμνες και σπάνια δέντρα. Όταν ο μοναχογιός της πριγκίπισσας παντρεύτηκε, ανέθεσε στον κηπουρό να βρει ένα ασυνήθιστο είδος στο πάρκο για να συμβολίσει το γεγονός, αλλά ο κηπουρός δε βρήκε τίποτα. Μια μέρα, περπατώντας στο πάρκο, η κόμισσα αντίκρισε μια τεράστια βελανιδιά, ο κορμός της οποίας είχε χωριστεί σε τρία μέρη, γεγονός που τη συγκλόνισε βαθιά. Στο γάμο του γιου της εξέφρασε την ευχή να γίνει η οικογένειά τους τόσο δυνατή όσο αυτή η βελανιδιά. Ο δεξιός κορμός είναι ο γιος της, ο αριστερός η σύζυγός του και στη μέση η κόμισσα που θα προσέχει για την ευτυχία τους. Τώρα αυτή η βελανιδιά θεωρείται το δέντρο της αγάπης. Μέχρι σήμερα, οι νεόνυμφοι, που επιθυμούν να εξασφαλίσουν έναν ισχυρό γάμο, έρχονται εδώ για να αγγίξουν τη μαγική βελανιδιά και να της ζητήσουν ανεξάντλητη αγάπη και συζυγική ευτυχία. Η κατασκευή του παλατιού ολοκληρώθηκε το 1917, όμως στην οικογένειά Σσερμπάτοβ δεν έμελλε να εγκατασταθούν σε αυτό. Κατά τη διάρκεια του Πρώτου παγκοσμίου πολέμου η κόμισσα μετέτρεψε το παλάτι σε στρατιωτικό νοσοκομείο, όπου η ίδια εργαζόταν ως νοσοκόμα. Μετά την επανάσταση, η περιουσία της κόμισσας κατασχέθηκε και το 1920 η πριγκίπισσα Μαρία, μαζί με τον γιο της Βλαντιμίρ και την κόρη της Αλεξάνδρα, εκτελέστηκαν από τον Κόκκινο Στρατό.