Selon la tradition familiale des Raynaud-Blanchard, la maison de pierres daterait de 1760. A ce moment-là Jean-Baptiste Raynaud y habitait et en 1790 François Raynaud en est le propriétaire.

Le plus vieux document que nous ayons trouvé est le testament de Louis-Michel Raynaud (fils de Jean-Baptiste) et son épouse Madeleine Dufresne datant de 1822 confirmant les donations à leurs deux fils Abraham et Jean-Baptiste.

Il semble que Jean-Baptiste ait hérité du lot 47 et de la maison de pierres puisqu'en 1859 lui et son épouse Marie Loiselle font à leur tour donation à leur fils Isidore et à son épouse Emilie Gaboury. La donation comprenait leur terre de la première concession de Saint-Marc comprenant une maison de pierres et autres bâtisses (à l’exception du terrain de 180 pi situé au nord du lot 47 qui appartient à Etienne Cyriaque Blanchard).

Isidore Raynaud-Blanchard et Emilie Gaboury habitent à ce moment à Saint-Jean-Baptiste de Rouville. Etienne Cyriaque et le vieux Jean-Baptiste continueront à habiter la maison de pierres avec Isidore jusqu’à leur décès.

En 1879 Isidore Blanchard rachète les rentes constituées et devient seigneur de Cournoyer.

En 1882 il fait donation de toutes les fermes en sa possession à son fils Etienne, alors âgé de 39 ans, et à son épouse Virginie Blanchard . Etienne deviendra seigneur de Cournoyer à son tour et à son décès en 1918 ses filles et leur mère seront co-seigneuresses. Marie-Blanche, fille d’Etienne, fut la dernière Raynaud-Blanchard à habité la maison de pierre qu’elle vendit en 1954 à Charles Le Borgne et Micheline Loranger.

Actuellement Susan Almgren et François-Guy Doré sont les propriétaire de la résidence et y habitent.