Le Palais, aujourd'hui encore propriété de la même famille, doit sa propre origine au Pape Martin V, qui ramena à Rome le siège pontifical après la captivité d'Avignon. A son retour le Pape trouva la ville dans des conditions désastreuses: maisons en ruines, temples écroulés, rues boueuses, une ville sale et abandonnée comme le dit Platina.

Martin V favorisa les initiatives visant à redonner un visage à la ville et à rendre de nouveau possible la libre circulation en libérant les routes des voleurs et des bandits qui les infestaient.
Les Colonna occupaient cette zone déjà au Moyen Age et il semble que leur nom dérive justement de la proximité de la colonne de Trajan.
Les donations du XVI° siècle de Jules II et les travaux successifs en firent un palais austère semblable à un forteresse, aspect qui devint moins agressif au XVII° siècle, pour être ensuite définitivement modifié par les restaurations du siècle suivant.
Les salons du Palais ont accueilli des évènements historiques d'exceptionnelle importance.
La Galerie, créée au XVIII° siècle, est régulièrement ouverte au public le samedi matin. Le reste du Palais au contraire est encore privé.