Het kasteel van Beselare, waar het geslacht Van der Woestine 400 jaar heeft gewoond, stond op grond aanpalend rechts aan de huidige hoeve André Buyse – Hoornaert (voorheen de hoeve André Ghekiere – Desmet). Het lag tussen de Keiberg en de Kortrijkdreve, op uw rechterhand langs de kiezelweg naar Moorslede. Het lag daar weggedoken achter hoogten en tussen bossen die zich uitstrekten tot Passendale. In de middeleeuwen betrof het een versterkte hoeve, met vierkante grondvorm en omsloten van een wal en een ophaalbrug. De heerlijkheid Beselare was onderhorig aan de Zaal van Ieper. In 1418 kocht Rogier Van der Woestine aan Rogier Hauweel ’t Hof en de heerlijkheid Beselare. Hij was gehuwd met de rijke Elisabeth vander Gracht. In 1423 begon hij de hoeve gevoelig uit te breiden en als kasteel te verbouwen zodat uiteindelijk nog weinig van de oude muren overbleef. Gebouwd in rode baksteen, geflankeerd door vier hoektorens en een geveltorentje, in fantasie renaissancestijl, zag het er finaal mooi en sprookjesachtig uit. Boven de vierkante bouw rees een elegante campanilla of spie-toren. Het kasteel diende uitsluitend als praalverblijf want de vaste stek van Rogier Van der Woestine bleef de burcht De Blauwe Torre te Menen. Zijn zoon en opvolger Olivier I Van der Woestine kwam zich wel vestigen in het kasteel te Beselare en verkreeg van Filips de Goede de toelating in 1428 om te Beselare een schuttersgilde op te richten.
Eind de 17e eeuw kwam de familie Van der Woestine op het hoogtepunt van haar macht en glorie. In 1675 werd zelfs een vaste kapelaan aangesteld in de kapel van het kasteel. Bij koninklijke vergunning van Lodewijk XIV, wordt in de maand mei van 1705, de heerlijkheid op het grondgebied van Beselare verheven tot markgraafschap. De heren worden voortaan markgraven van Beselare betiteld.
In de tweede helft van de 18e eeuw begon het verval. Aangegrepen door vertoon van overdreven luister en verspilzucht begon Markies François III Maximiliaan Antoon Van der Woestine rond 1770 hofsteden, landerijen en bossen te verkopen. Meestal was de rijke baljuwfamilie Duval uit Beselare de koper. De verschrikkingen van de Franse omwenteling deden de rest. De jacht op de edelen was geopend en de markies viel in handen van de Fransen en werd samen met andere edelen op 12 mei 1794 op het schavot te Cambrai onthoofd.
Zijn zoon en opvolger Charles Ghislain Van der Woestine werd de laatste heer en markgraaf van Beselare. De Franse revolutie had de feodaliteit tenietgedaan. De markies, ook wel de oude markies of de kwâ markies genoemd, verliet het kasteel op 7 september 1796 en vluchtte naar het buitenland. Veel van de goederen werden openbaar verkocht in 1802 en 1803 door het ambt van de notarissen Jan Baptiste Meersseman van Beselare en J. Vandermeersch van Ieper. Enkele jaren later werd ook het geplunderde kasteel verkocht en kort nadien (rond 1813) afgebroken.
Van het voormalig heerlijk kasteel bestaan er nog twee kopergravuren, één van J. Milheuser uit 1641 en één van een onbekende kunstenaar. Beide zijn afgebeeld in Flandria Illustrata van A. Sanderus. Van Serafijn Vermote zijn twee tekeningen uit het jaar 1813 overgebleven. Ze bevinden zich in het klooster van de zusters van Maria te Izegem. Bij toeval werd nog een pentekening van het kasteel, opgewerkt met waterverf, ontdekt in 1967. Van oktober 1967 tot mei 1968 liep een belangrijke tentoonstelling “Lodewijk XIV in Vlaanderen” in het Hospice Comtesse te Rijsel. Onder nummer 14 was daar opgehangen “exemple des chateaux qui s’élevaient dans les campagnes flamandes”. Een aandachtige bezoeker uit onze streek raadpleegde de goed geïllustreerde catalogus en las als uitleg: “La Maison de Bekelaer près d’Ypres”. Au verso: “Het huys Bekelaer in de Bosseneleny van Yperen. Anno 1609” Het was niet moeilijk om de verhakkelde Vlaamse tekst in de Franse uitgave te corrigeren. Het betrof inderdaad een pentekening van het Kasteel van Beselare gedateerd 1609. De tekening behoort toe aan het Cabinet des Dessins in het Musée du Louvre te Parijs en is daar ingeschreven onder nummer 12.208 van de Inventaire.