La France, fin du XIX siècle. La comtesse Louise de Vallas, dernière de sa malheureuse famille décimée par les maladies et les accidents, n'a guère de santé. Morne, seule dans son magnifique château, elle dépérit lentement, au grand dam de sa servante Félicie. Le village, lui, ne parle que du nouveau garçon du boucher, jeune homme imposant et singulier qui livre la meilleure viande au château pour la malade. Le temps passe, et un jour, Louise rencontre dans le parc Germain Vannier, jeune homme séduisant et "pas comme les autres" auquel elle s'attache de plus en plus. Lorsque Louise apprend que ce jeune homme et le garçon de boucherie, sont la même personne, elle en tombe gravement malade, mais se relève deux semaines après pour comprendre que la différence sociale n'est rien devant l'amour.

Malgré l'avis de tous, elle épouse Germain Vannier. Sa maladie est oubliée, elle est heureuse. Sa filleule Charlotte, parente pauvre éloignée enviant la richesse de Louise et son château, tombe elle aussi amoureuse de Germain mais celui-ci l'éconduit. Obligée de travailler, Charlotte est placée comme gouvernante dans une riche famille. Elle a une liaison avec un avocat qui hésite pourtant de l'épouser. René Costes, un jeune médecin ami de famille, fait alors pression sur cet amoureux qui décide donc de se marier avec Charlotte, mais périt la veille du mariage, dans un naufrage.

Pour le couple Vallas-Vannier, des années de la vie heureuse s'écoulent. Germain se sent à l'aise dans la "bonne société"; il est devenu un notable local et maire du village, gardant malgré un extérieur verni, la nature profondément rationnelle et pragmatique d'un paysan. Mais la maladie de Louise revient, cette fois-ci irrévocablement. Devenu veuf, Germain finit par prendre Charlotte comme économe et secrétaire, puis en fait sa maîtresse mais refuse catégoriquement de l'épouser. Commence alors pour Charlotte une longue conquête: de Germain de qui elle met au monde une fille illégitime ou du château des Vallas qui les fascine tous irrésistiblement?..