Dieses Gebäude wurde von Gaetano Koch errichtet, der den alten Palazzo Orsini einbezog, das einzige Gebäude der Villa Ludovisi, das noch im Besitz dieser römischen Adeligen war. Nachdem der Palazzo bei der Apostelkirche der Stadt Rom geschenkt worden war, begannen die Ludovisi mit dem Bau der neuen Residenz, aber während der Bauten waren sie wegen großer wirtschaftlicher Schwierigkeiten gezwungen, das Gebäude an die Königsfamilie zu verkaufen.

Nach dem Ende der Arbeiten wurde der Palazzo die Residenz der Königin Margherita, die hier bis 1924 wohnte. Nach dem Zweiten Weltkrieg wurde das Gebäude von den Vereinigten Staaten von Amerika erworben und dient als Botschaft und Konsulat.
Das berühmteste Stück der Via Veneto geht von hier bis hoch zu den Mauern. Etwas weiter oben als der Palazzo sind die berühmten Cafés, in denen sich das römische Nachtleben abspielte.