Il Palazzo fu costruito da Gaetano Koch inglobando il Vecchio Palazzo Orsini, unico edificio della Villa Ludovisi di cui i nobili romani erano rimasti proprietari. Ceduto al Comune di Roma il palazzo nei pressi di Santi Apostoli, i Ludovisi diedero avvio ai lavori di costruzione della nuova residenza, ma in corso d'opera gravi difficoltà economiche li costrinsero a vendere l'edificio alla famiglia reale.

Terminati i lavori, il Palazzo divenne residenza della Regina Margherita che lo abitò sino al 1924. Dopo la seconda Guerra mondiale il palazzo fu acquistato dagli Stati Uniti d'America e destinato ad ospitare ambasciata e consolato americani.
Il tratto più famoso di Via Veneto è quello che da questo palazzo sale verso le mura. Poco oltre il palazzo sono i famosi caffè, che furono teatro delle notti romane.