Das Gebäude ist noch heute im Besitz dieser Familie und verdankt seinen Ursprung Papst Martin V, der das Papsttum nach dem Exil in Avignon wieder nach Rom zurückführte. Bei seiner Rückkehr fand der Papst die Stadt in verheerendem Zustand vor:

Die Häuser heruntergekommen, die Kirchen beschädigt, die Straßen mit Lehm bedeckt, eine schmutzige, halbverlassene Stadt, wie Platina sagt. Martin V begann ein Programm, das das Ziel hatte, der Stadt wieder ein Gesicht zu verleihen, und wieder einen freien Straßenverkehr zu ermöglichen, indem er die Straßen von Räubern und Banditen reinigte.
Bereits im Mittelalter besetzten die Colonna dieses Gebiet, und es hat den Anschein, dass ihr Name sich eben durch die Nähe der Trajanssäule erklärt.
Die Schenkungen Julius II im 15. Jh. und die späteren Arbeiten machten das Gebäude zu einem nüchternen, festungsähnlichen Burg, ein Aussehen, das erst im 17. Jh. weniger aggressiv wurde, um dann endgültig durch die Restaurierungen des folgenden Jahrhunderts verändert zu werden.
In den Räumen des Palastes fanden historische Ereignisse von außergewöhnlicher Bedeutung statt.
Die Galerie, die auf das 18. Jh. zurückgeht, ist Samstagvormittag regulär für das Publikum geöffnet. Der restliche Teil des Palazzo ist dagegen immer noch privat.