La terre de Vauban a donné à la famille son nom. Le château est une ancienne maison forte datant du XIIème siècle. Il n’en subsiste qu’une tour : à la suite de dégâts importants pendant les guerres de religion elle a été remaniée au XVIIème siècle puis agrandie au XIXème siècle.
La seigneurie avec tous ses droits féodaux est acquise en 1548 par Emery Le Prestre, arrière-grand-père de Vauban. En 1684, Vauban achète à son neveu Antoine ce domaine qui revint ensuite par succession à la famille Millereau.
