La vallée où se trouve aujourd'hui le Colisée, était occupée par le fameux Etang, lac artificiel qui embellissait la Domus Aurea résidence impériale de Néron. Les empereurs Flaviens restituèrent la vallée à la ville en remplaçant l'étang par un lieu de spectacle destiné aux jeux des gladiateurs et en mesure de recevoir plus de soixante-dix mille personnes : l'amphithéâtre Flavien.

Vespasien commença les travaux en 72 apr. J.-C., son fils Titus les termina en 80 et l'inauguration voulue par Domitien dura cent jours. Le côté nord vers la voie des Forums impériaux, est le seul qui conserve l'aspect d'origine.
Trois étages de quatre-vingts arcs chacun, surmontés d'un attique subdivisé en quatre-vingts panneaux par des bandes d'encadrement. Dans chaque panneau trois étagères soutenaient les piquets auxquels était relié le velarium, la grande toile qui servait à protéger le public du soleil et de la pluie et qui était manœuvré par des marins spécialisés.
La numération progressive des arcades du premier ordre correspondait au numéro du billet d'entrée, tandis que les quatre arcades correspondant aux axes étaient sans numération ; les arcades de l'axe mineure étaient réservées aux autorités, celles de l'axe majeur aux gladiateurs.
A partir de l'an mille le monument sera appelé Colisée, peut-être à cause de la présence du colosse de Néron, énorme statue de bronze doré détruite au Moyen-Âge.