Le Palais fut construit par Gaetano Koch en englobant le Vieux Palais Orsini, seul édifice de la Villa Ludovisi dont les nobles romains étaient restés propriétaires. Le Palais à proximité de l'Eglise des Saints Apôtres ayant été cédé à la Mairie de Rome, les Ludovisi commencèrent les travaux de construction de leur nouvelle résidence, mais de graves difficultés économiques en cours d'œuvre les obligèrent à vendre l'édifice à la famille royale.

Une fois les travaux terminés, le Palais devint la résidence de la Reine Marguerite qui y résida jusqu'en 1924. Après la seconde guerre mondiale le palais fut acheté par les Etats Unis d'Amérique et destiné à accueillir l'ambassade et le consulat américains.
La partie la plus célèbre de Via Veneto est celle qui monte de ce palais vers les remparts. Peu après le palais il y a les fameux cafés qui furent le théâtre des nuits romaines.