La Biblioteca è ubicata in un edificio di proprietà comunale, Palazzo Riccardi, risalente al 1819 e inaugurato nel 2017. È intitolata e dedicata allo scultore Eleuterio Riccardi, nato a Colfelice nel 1884 in piazza del Duca, a pochi passi dal Palazzo e dalla bottega dove il padre Angelo svolgeva l’umile, ma ugualmente esaltante e creativo lavoro di artigiano della terracotta (gliu piattare ovvero il piattaio, come allora era localmente chiamato). Attraverso le immagini delle opere presenti o riprodotte ed esposte nel palazzo è possibile ripercorrere l’iter artistico di Riccardi e apprezzarne la creatività e il talento. Lo scultore si afferma sulla scena internazionale fin da quando, all’età di appena 25 anni, partecipa alla X esposizione internazionale di Belle Arti di Monaco di Baviera del 1909 con la scultura Il fabbricatore di urne (The Creator), premiata con Medaglia d’Oro. L’opera è la prima raffigurazione del padre Angelo, dal quale Eleuterio ha appreso l‘arte di modellare la materia, prima nella bottega di piazza del Duca e poi a Roma. Un altro busto del padre, Il fornaciaro (bronzo) del 1918, due busti di Bruno Barilli (terracotta), Deposizione e La Ciociara (copia in bronzo) furono donati al Comune di Colfelice dalla figlia dello scultore, Gemma, pittrice.
Palazzo Riccardi ospita la Biblioteca comunale, istituita con deliberazione consiliare n. 51 del 27 ottobre 1974, e il fondo librario munificamente donato al Comune dalla Sig,ra Mara Nimmo a ricordo del marito Ernesto Guida, regista cinetv, cittadino di Colfelice. Il fondo è ricco di 6500 volumi e di circa 2000 numeri di quotidiani e periodici.
L’edificio, di uso polifunzionale, è realizzato su più piani, con rialzi e panorama a 360 gradi. È dotato di ascensore e dispone di varie sale per la lettura, ben illuminate, e per proiezioni multimediali, manifestazioni e appuntamenti culturali.