La costruzione del Castello di Atena Lucana risale all' XI secolo e si deve alla famiglia dei principi Sanseverino. Nel corso del '600, la struttura appariva già diroccata e nel 1620 vennero eseguiti dei lavori che portarono all'ampliamento del palazzo feudale. Secondo le ricostruzioni storiche, la distruzione sia del castello che della torre fu dovuta ai continui attacchi e agli eventi sismici che colpirono la zona, come il terribile terremoto del 1561.
Oggi, dell'antica struttura, rimangono dei ruderi, costituiti soprattutto da muri e da alcuni terrazzamenti, posti al di sopra del centro urbano.