Il fut construit vers 1420 sur l'emplacement d'une ancienne villa mérovingienne. Il est inscrit à l'inventaire supplémentaire des Monuments historiques.

Propriété des Théméricourt pendant une soixantaine d'années, le fief acheté par Bertin de Silly passe aux mains de la famille de La Rochefoucauld jusqu'à la Révolution, soit 360 ans. Un capitaine militaire et un intendant gouvernent alors. Le capitaine Danse laisse son nom à la Croix d'Anse, bois situé près du château. Petit à petit le château se dégrade. Seule la ferme est améliorée par la duchesse d'Enville. Cette ferme, devenue indépendante, s'appelle la Feuge.

Le citoyen Gouttard (ancien régisseur de La Roche-Guyon) acquiert le château. La rumeur publique dit que des pierres furent vendues pour la construction de maisons.

Gouttard le revend à une famille Morin de la Sablonnière, devenue par alliance Vente de Francmesnil. Cette famille l'habite jusqu'après la seconde guerre mondiale. Il devient la propriété d'un couple franco-américain, les White, qui le restaure en partie (voir la petite chapelle). Leur neveu Hugues Flochel en hérite, l'habite, l'ouvre et le décore pour les journées du patrimoine.

La monographie de Victor Hébert donne une description très détaillée de l'architecture et de l'histoire du château.

Le Pigeonnier octogonal est remarquable et bien conservé.
À l'intérieur du château, un plafond peint aux armes de Catherine de Médicis devait honorer celle-ci car elle devait venir en visite. Mais elle n'est jamais venue.

Anecdote entre les deux guerres : Louis de Francmesnil, le jour de sa fête (le 25 août) faisait dire une grand'messe musicale et l'après-midi offrait un goûter à tous les enfants du village ainsi qu'une séance de cinématographe.