Op Zedelgems grondgebied staan tal van kastelen. Het meest bekende is ongetwijfeld het Kasteel van Loppem, een parel van neogotische totaalkunst. Het bevat een rijke collectie kunstvoorwerpen, gaande van de middeleeuwen tot het begin van de 20ste eeuw. De historische waarde van het kasteel is aanzienlijk. Op het einde van de Eerste Wereldoorlog verbleef koning Albert I op het kasteel en de fameuze regering van Loppem werd er gevormd.
De andere kastelen op het grondgebied zijn niet toegankelijk, behalve dat van Hoogveld dat opengesteld is als jeugdverblijfcentrum.