Zandvoorde had ooit een kasteel tussen ongeveer 1630 en 1781 toen het werd verwoest. Het kasteel met wal en kasteeldreef lag ten oosten van de kerk, ten zuiden van de Kruisekestraat en dicht bij de Kasteelbeek. Het werd gebouwd rond 1630 en bestond uit twee delen: een opperhof en een neerhof, beide door een gracht omwald. “Flandria Illustrata” van A. Sanderus, Amsterdam, 1641, deel 1, blz. 399 – 400, toont ons een kasteel in renaissancestijl met enkele sierlijke torentjes, een voorpoort met een valbrug over de wal en omsloten door een gekanteelde muur met verscheidene wachtgebouwtjes. Naast het kasteel lag een galgenveld. De vorige bewoners van wat nu de kasteelhoeve wordt genoemd, Gaston Persyn – Legrand dempten rond 1975 de nog goed bewaarde kasteelwal. Nu zijn zoon Luc en schoondochter Diane Verhille de uitbaters van de hoeve.
Het kasteel was, vanaf de nieuwbouw tot 1702, eigendom van de Heer van Zandvoorde, aanvankelijk een edelman uit het huis van der Vichte (Olivier, Jan, Jacob). Eind de 17e eeuw was Maximiliaan de Velaere, gehuwd met een dochter van der Vichte, heer en kasteelheer. Na zijn dood in 1702 wordt de heerlijkheid en het kasteel verkocht aan Daniël de Bessot. Door erfenis komt het goed in 1776 in handen van Thérèse Bernardine van Volden, weduwe van de edele Heer Pierre-François Simon, burgemeester van het Brugse Vrije. Zij was nu vrouwe van Zandvoorde en ze werd na haar dood in 1780 opgevolgd door haar zoon Jean Simon, opnieuw als heer van Zandvoorde. In 1781 wordt het kasteel verwoest en niet meer heropgebouwd. Na zijn dood in 1813 – hij ligt te Zandvoorde begraven – gaat de titel en de eigendom van de kasteelhoeve en de landerijen over naar zijn neef Pierre Joseph Hyacinthe de Peñeranda, heer van Duvilly en Franchimont. De zuster van Jean Simon, Isabelle-Jeanne Simon, was gehuwd met Pierre-Antoine de Peñeranda en haar zoon Pierre Joseph Hyacinthe erfde de eigendom van zijn ongehuwde nonkel.
Tot 1907 woonden er de Peñeranda’s te Zandvoorde. Toen overleed de kleinzoon van Pierre Joseph Hyacinthe, namelijk Eugène Charles, als laatste telg uit het huis de Peñeranda. De familie de Peñeranda liet een kalvariekruis plaatsen bij hun familiegraf op het kerkhof en twee obiits werden opgehangen in de St.- Bartholomeuskerk. De adellijke familie, van Spaanse oorsprong en sinds 1549 in Vlaanderen, drukte al die tijd haar stempel op de gemeentepolitiek ook geruime tijd als burgemeester. Ze verkocht haar eigendommen te Zandvoorde in 1910. De kasteelhoeve werd aangekocht door de landbouwersfamilie Legrand. Nu leven nog afstammelingen van de adellijke familie de Peñeranda in Brugge, Zwijnaarde, Brussel, Beersel, Ohain, Braives, Lasne en Grez-Doiceau.
