Palazzo Rinaldo fu eretto nel 1693 dalla famiglia Rinaldo, divenuti baroni di San Rufo dopo i Pellegrini. La struttura, a pianta regolare e in muratura, conserva ancora oggi alcuni dei suoi elementi architettonici originari come l'antica torretta di guardia, i mascheroni e lo stemma araldico del casato.
Molto bello è il portale in pietra di Teggiano, perfettamente conservato, e decorato dallo stemma della famiglia. Sul lato sinistro dell'ingresso è possibile ammirare un locale dove un tempo vi era alloggiata il corpo di guardia degli sgherri baronali. All'interno, è possibile ammirare il bel cortie che si apre sull'imponente scalinata e sul cancello delle prigioni, alle quali si accedeva anche tramite un altro ingresso dal primo piano attraverso una botola.