Son histoire, ou plus exactement celle du mont Avrollot, ne commence vraiment qu'à l’âge de fer avec la construction des premières fortifications. Lorsque les Gaulois s’installent sur cette butte qui forme un site défensif naturel au croisement de deux voies importantes de circulation, l’extrémité occidentale est protégée par un rempart. Abandonné au profit des vallées, cet oppidum est de nouveau occupé vers 30 avant JC. Le rempart est alors rehaussé et élargi, ce qui explique l’importance du vestige actuel. Afin d’imaginer cette période, le musée du Florentinois présente une maquette sur l’oppidum gaulois d’Avrolles.
Après la conquête romaine, les Gallo-Romains s’installent au pied du mont, à l’emplacement du village actuel. La bourgade se développe mais sa situation au carrefour de voies de passage permanent lui vaut d’être souvent ruinée, détruite ou incendiée depuis les Normands jusqu’au siècle dernier. Pourtant la cité se relève à chaque fois et connaît une réelle prospérité au XVIe siècle, période où l’on recense jusqu’à 1500 habitants regroupés autour de son importante église et son clocher fortifié. Malheureusement, la prospérité est de courte durée puisqu’à la fin du XVIe siècle, les guerres de religion dévastent complètement Avrolles qui n’est plus que ruines champêtres. Les murailles et les portes croulent peu à peu et les fossés se remplissent de sorte qu’en maints endroits, il n’en reste plus trace. La ville ne se relève pas de ses ruines et restera désormais une simple petite bourgade rurale. Une fois de plus, en 1804, le village est ravagé par un violent incendie qui n’épargne que le château à l’écart du bourg qui sera à son tour détruit par un incendie en 1945.