Fu la principessa bizantina, madre dell'imperatore Ottone III, a stabilire la propria dimora sull'Aventino, dove erano ancora vivi i ricordi della tradizione orientale. Il palazzo imperiale fu verosimilmente costruito nella zona successivamente occupata dal convento di Santa Sabina e dal Giardino degli Aranci, da dove si gode uno dei più bei panorami della città; nel muro di recinzione, del giardino sono ancora evidenti le tracce delle torri e del ponte levatoio, di quella che di lì a poco diventerà la rocca Savella.

Il colle, abbandonato dall'Imperatore, rimasto sede di monasteri e di sontuose dimore di casate nobiliari, che nel saccheggio normanno del 1084 subirono gravissimi danni, fu riportato in auge da Onorio III, papa della famiglia Savelli che qui stabilì la propria residenza. I Savelli sostenevano di discendere da Aventino, leggendario re di Albalonga, che qui avrebbe avuto sepoltura.
In verità la scelta di un'altura quasi a picco sul Tevere era dettata da ragioni strategiche: la famiglia già controllava l'isola tiberina dalla fortezza, eretta sul teatro Marcello, esercitando la propria egemonia sul fiume. Alla fine del XIII secolo un altro papa Savelli, Onorio IV, ricoprì la sommità del colle con grandiose costruzioni che ospitarono il conclave successivo alla sua morte.