La paroisse de Touvérac fut unie à l'abbaye de Baignes au XI^e siècle.

Les Hospitaliers de Saint-Jean de Jérusalem étaient présents car en 1373 il est mentionné qu'ils possèdent une maison à Touvérac.

Sous l'Ancien Régime, la seigneurie de Touvérac relevait des barons de Montausier, seigneurs de Baignes. Elle sera par la suite érigée en marquisat. Elle faisait partie du Petit Angoumois, enclave de l'Angoumois en Saintonge dont Baignes était le centre.

Le seigneur de Touvérac avait droit de haute, moyenne et basse justice sur sa juridiction, qui englobait les paroisses de Touvérac, Boisbreteau et une partie d'Oriolles. Il devait le droit de guet et l'hommage au baron de Montausier.

Le plus ancien seigneur connu de Touvérac est Jean Aisse qui vivait à la fin du XIV^e siècle et début du XV^e siècle. Il épousa Catherine de Sainte-Maure, de Montausier. La seigneurie passa par descendance à Artus Goulard, seigneur de Barge, et cette famille garda Touvérac pendant tout le XVI^e siècle. Par mariage, Touvérac passa à Josias Bouchard d'Aubeterre, puis aux Jousserand, seigneurs de Génissac.

En 1744, Charles-Raphaël de Jousserand, marquis de Touvérac, mourut ruiné et sa veuve dut vendre Touvérac à Joseph de Grailly pour 69 000 livres. La famille de Grailly, originaire des bords du lac Léman, comptait parmi ses ancêtres Jean de Grailly, captal de Buch, qui soutint énergiquement les Anglais pendant la guerre de Cent Ans.

À la Révolution, la terre de Touvérac était possédée par le marquis Henry de Grailly qui émigra en 1793 et mourut en 1847.

À la fin du XIX^e siècle, les restes du château de Touvérac, qui était une construction importante autour d'une vaste cour intérieure, furent aménagés par le docteur Meslier, ancien maire de Barbezieux, qui en fit sa demeure.

Pendant la première moitié du XX^e siècle, la commune était desservie par la ligne de Châteauneuf à Saint-Mariens par Barbezieux, et la gare était commune avec Baignes

Chevaux de poste louis 14