Palazzo Pagano è uno dei tanti palazzi di San Rufo conservatosi sino ad oggi in condizioni pressochè intatte. Il monumento, di proprietà privata, presenta una pianta rettangolare e una struttura in muratura, adornata da un bel portale in pietra con lesene laterali.