Collocato al centro di un anfiteatro morenico, il paese si sviluppa lungo la SS 166 degli Alburni, che dal Vallo di Diano porta alla Piana del Sele attraverso il Passo della Sentinella.
Le origini dell’abitato sono discusse: la tradizione lo vuole fondato in onore di S. Rufo nel XIII secolo da Gubello Pellegrino, ma probabilmente la sua edificazione può essere anticipata intorno all’anno Mille.
Come altri casali del Vallo, fece parte dello Stato di Diano e fu feudo dei Pellegrino fino al XVII secolo, per passare successivamente alla famiglia Rinaldo ed infine ai Laviano nel 1778.
Tracce di questa storia si susseguono lungo le strade principali del paese, abbellito da case signorili sei-settecentesche (Palazzo Laviano- in cui si notano i caratteristici mascheroni spegnitorcia - Palazzo Rinaldo , Palazzo Marmo , tutti e tre in Via Mazzini) e dagli ottocenteschi Palazzo Pagano e Palazzo De Vita , entrambi in Via Garibaldi.
L’abitato attuale è il residuo dei modesti nuclei che si costituirono probabilmente durante il periodo delle scorrerie saracene, ossia Casalvetere (o Castelvetere) e San Rufo. Dalla vicina località di Calvanello prende invece il nome un castello di probabile età angioina (di cui oggi si ammirano i resti), raggiungibile dalla strada comunale che dal paese conduce alla Chiesa della Madonna della Tempa e costeggia il rilievo su cui si trova la fortificazione.