Compte tenu de sa position stratégique permettant aisément de contrôler les transits, le rocher de Bard a été fortifié dès l'époque pré-romaine; toutefois les documents qui en témoignent datent de beaucoup plus tard. Certains historiens placent ici la garnison militaire (clusurae augustanae) installée par le roi ostrogoth Théodoric au début du VIe siècle. La première citation d'un édifice fortifié remonte à 1034; il appartenait au vicomte d'Aoste, Boso, dont les descendants conservèrent la seigneurie de Bard jusqu'à la première moitié du XIIIe siècle. Conquis en 1242 par Amédée IV de Savoie, le château passa alors directement sous la domination savoyarde. Un dessin de la seconde moitié du XVIe siècle retrace l'antique structure constituée d'un ensemble d'édifices dominés par un donjon carré et ceints par une double courtine de remparts munie de tours de guet; un système de bastions descendait dans la vallée embrassant la totalité du bourg. En 1661, le duc Charles- Emmanuel II fit démanteler les places fortes de Verrès et de Montjovet et transféra toute l'artillerie à Bard qui, dès lors, devint le siège des forces armées du Duc de Savoie en Vallée d'Aoste. Au cours des XVIIe et XVIIIe siècles, différents travaux d'agrandissement et de renforcement des structures défensives de la forteresse furent mis en œuvre.
Du châteaux à la forteresse