Nasce a Marradi (Firenze) il 10 luglio 1817. A sedici anni si trasferisce nel capoluogo toscano per studiare presso gli Scolopi, sotto la guida di padre Giovanni Inghirami. Una volta divenuto insegnante di Storia e geografia presso l'Istituto femminile della SS. Annunziata, inizia a impegnarsi come giornalista politico. Dal 1847 collabora con "La Patria" (che appoggia il gruppo moderato ricasoliano) e presto ne diventa segretario di redazione e poi responsabile. Il primo dicembre 1848 fonda "Il Nazionale", cui imprime un indirizzo filo-piemontese che appoggia il triumvirato rivoluzionario formato da Giuseppe Montanelli, Giuseppe Mazzoni e Francesco Domenico Guerrazzi ma che si oppone al progetto di unione con la Repubblica Romana diretta da Giuseppe Mazzini. Collabora a titolo gratuito anche con "L'imparziale fiorentino", giornale i cui proventi vengono destinati «a benefizio degli indigenti». Nel 1850, in seguito al ritorno del Granduca, il giornale viene soppresso e lui stesso viene rimosso dall'incarico di insegnante. Con il fratello Beniamino organizza allora una tipografia in Piazza Santa Croce ("Barbèra, Bianchi e comp.") ma l'impresa non riscuote successo e presto viene ceduta. Riprende a collaborare con giornali letterari del tempo come "Il Genio" (1852-54) e la "Polimazia di famiglia" (1853-55). Fonda anche un altro giornale, "Lo Spettatore", che dirige fino al 1858 rendendolo uno dei migliori fogli letterari della Toscana. Legato ai moderati filo-piemontesi, promuove tuttavia una linea politica che salvaguardi l'autonomia della Toscana. Nel 1859 diventa segretario del Governo provvisorio della Toscana guidato da Bettino Ricasoli in seguito alla fuga del granduca. La notte del 26 aprile in casa del fornaio Dolfi si radunano i capi del gruppo liberale nazionale e dei radicali, che stabiliscono per il giorno dopo una grande dimostrazione. Ne danno avviso a tutte le città toscane, scelgono i nomi per la giunta provvisoria di governo (Ubaldino Peruzzi, Ermolao Rubieri, Ferdinando Zannetti, Vincenzo Malenchini e Bettino Ricasoli, che rifiuta dovendo recarsi dal Cavour), e fanno stendere proprio da Celestino il seguente manifesto: "Toscani! L'ora è suonata: la guerra dell'Indipendenza d'Italia già si combatte. Voi siete italiani; non potete mancare a queste battaglie; e italiani siete anche voi, prodi soldati dell'Esercito Toscano; e vi aspetta l'esercito italiano sui campi di Lombardia. Gli ostacoli che impediscono l'adempimento dei vostri doveri verso la Patria devono essere eliminati: siate con noi e questi ostacoli spariranno come la nebbia. Fratellanza della Milizia con il popolo. Viva l'Italia, Guerra all'Austria! Viva Vittorio Emanuele Generale in capo dell'Armata Italiana". Deputato all'Assemblea dei Rappresentanti della Toscana, viene in seguito eletto alla Camera per sette legislature consecutive (dal 1860 al 1880) e ricopre la carica di segretario generale del Ministero dell'Interno durante i due ministeri Ricasoli del 1860-61 e 1866-67. Collaboratore de "La Nazione" dal 1860, ne diventa direttore a partire dal 1871 trasformandolo nel quotidiano di maggior successo di Firenze (tra i suoi collaboratori Edmondo De Amicis, Carlo Collodi e Yorick figlio di Yorick, alias Pietro Coccoluto Ferrigni). E' l'ideatore di rubriche di successo, come quella sulla moda femminile. Uomo della destra, in quegli anni scopre nella donna un nuovo tipo di lettore, tanto che nei giorni del referendum per l'annessione al Piemonte "La Nazione" ospita un dibattito sul voto femminile. A Firenze si rende protagonista di molte battaglie, tra cui quella per ottenere dal Governo nazionale una "legge speciale" per aiutare il Comune a ripianare la bancarotta creatasi per le molte spese sostenute negli anni in cui era capitale d'Italia. Studioso di Giambattista Vico, gli si devono anche alcune opere storiche come la "La geografia politica dell'Italia" (1843), "La Compagnia della Misericordia di Firenze. Cenni storici" (1855), "Federico Confalonieri e i carbonari del 21" (1863), "Manuale di Storia Moderna (1454-1866)" (1869) e "Storia della questione romana" (1870) nonché volumi a carattere patriottico: "Ciro Menotti", "Venezia e i suoi difensori" (1863) e "I martiri d'Aspromonte" (1871). Tutta la sua opera è protesa all'unificazione dell'Italia sotto la Casa Savoia. Muore a Firenze il 29 giugno 1885.