Fu allora che, affascinato dal mondo antico, il Passeri diede sfogo alla sua passione iniziando a pubblicare opere archeologiche, divenendo uno dei maggiori conoscitori della cosiddetta “etruscheria” ed entrando a far parte  di alcune importanti accademie italiane (oltre l’Arcadia, la Quirina di Roma, la Colombaria, la Crusca , l’Etrusca, l’Augusta di Perugia, la Colonia Orotea di Palermo) ed europee, come l’Accademia deli letterati (Olmitz) e la Royal Society di Londra. 

Nel 1730, con Annibale degli Abbati Olivieri, fondò quello che sarebbe diventato il vero centro culturale della città, “l’Accademia pesarese di scienze, lettere ed arti”, con il contributo di Nicola Gavelli. Fu in questi anni che l’amicizia con Olivieri si consolidò, arrivando al lascito che sarebbe stato a beneficio della città che l’aveva accolto.

Infaticabile studioso, mecenate e scrittore, Passeri collaborò al Museum Etruscum di Gori, scrisse di antichità etrusche e italiche e fu sempre in contatto con i maggiori studiosi di antichità del tempo: secondo i suoi contemporanei fu il primo a “interpretare i caratteri, la pittura, le sculture, i vasi, le gemme, le medaglie ed ogni altro monumento etrusco”, e il primo “a gettare le fondamenta di una scienza, che fino ad allora era del tutto sconosciuta, la geologia”, secondo quanto scrisse G. I. Montanari  nel 1857.

Come molti eruditi del Settecento credeva profondamente nell’importanza della catalogazione e della conservazione del patrimonio antico per cui in quel “secolo fortunato alle arti” meritavano «una non volgare commendazione quelle pubbliche insigni raccolte, in cui i più pregevoli avanzi dell’antichità si conservano e si defendono dalle fatali ingiurie del tempo, e dalle più fatali dell’ignoranza» (G.B. Passeri, Dissertazione epistolare 1776, p. 5).