Antica famiglia di mercanti di panni i Moroni lasciarono nel Cinquecento la Val Seriana per Bergamo, investendo nella coltivazione dei gelsi e nella bachicoltura e diventando protagonista della manifattura tessile locale, tanto che l’albero compare nello stemma del casato (a fianco dell’aquila imperiale, aggiunta due secoli dopo quando il Duca di Sassonia- Weimar conferì il titolo nobiliare). A metà Seicento Francesco, per sancire il prestigio sociale raggiunto anche grazie al matrimonio con Lucrezia Roncalli, (famiglia bergamasca tra le più prestigiose) commissionò a Battista della Giovanna il palazzo affacciato sulla Via Porta Penta (oggi Porta Dipinta), la via percorsa dai rettori della Serenissima al  loro ingresso in città. La sistemazione comprese anche i giardini a terrazze arroccati sulle pendici del Colle di Sant’Eufemia, decantati per teatralità e ricchezza botanica nel volume Le misteriose pitture del Palazzo Moroni, scritto nel 1655 dal priore del convento di Sant’Agostino e letterato Donato Calvi e in cui le piante erano descritte come guerrieri a difesa della famiglia e i loro profumi come dardi scagliati alle narici dei visitatori. Il cortile d’ingresso, con il fondale in bugnato sormontato da una balaustra ornata di anfore e la nicchia che ospita la fontana di Nettuno tra aspidistre, felci e falsi papiri (sistemazione attribuita al tagliapietre Lorenzo Redi), richiama le architetture classiche dei ninfei e si svela nella sua imponenza dietro la rigorosa facciata ancora influenzata dai dettami postridentini. A monte del terrapieno s’innesta il sistema dei giardini pensili, ai quali si accede dal ballatoio del piano nobile e scanditi in quattro terrazze collegate da scalinate coperte e scoperte che si concludono nel folto dei cipressi e in una torretta tardo-ottocentesca in stile neomedioevale, il cd. Pensatoio del Conte, costruita su preesistenze trecentesche. Le forme del giardino all’italiana strutturano tutti i livelli, reinterpretate e alleggerite nei secoli e affacciate sulla città e le Alpi Orobie. Fin dall’origine la compresenza del giardino aulico e di pertinenze agricole per il fabbisogno della famiglia costituì un vanto del palazzo, ma l’attuale Ortaglia che si estende per circa due ettari e mezzo fino alle mura della Rocca è il risultato di progressive annessioni d’inizio Ottocento e degli sforzi dei fratelli Pietro e Alessandro Moroni (quest’ultimo studioso di agronomia) e rappresenta un paesaggio superstite all’interno del contesto urbano d’eccezionale rarità. Nel 2009, alla morte di Antonio, ultimo discendente dei Moroni, il bene è passato alla Fondazione Museo di Palazzo Moroni, che nel 2019 ne ha affidato la gestione al Fondo per l’Ambiente Italiano.