Das Tal, in dem heute das Kolosseum steht, befand sich einst der berühmte künstliche See, der die Domus Aurea schmückte, die kaiserliche Residenz Neros. Die flavischen Kaiser machten das Tal wieder den Stadtbewohnern zugänglich, indem sie den See durch ein Gebäude für Gladiatorenspiele mit bis zu 70.000 Zuschauern ersetzten: Das Flavische Amphitheater.

Vespasian begann mit dem Bau im Jahre 72 n. Chr., sein Sohn Titus stellte ihn 80 n. Chr. fertig, und es wurde von Domitian mit 100 Tage dauernden Spielen eingeweiht. Die Nordseite, in Richtung auf die Kaiserforen, ist die einzige, die noch das ursprüngliche Aussehen bewahrt hat.
Drei Stockwerke mit jeweils 80 Bögen, und darüber eine Attika, die in achtzig Felder unterteilt ist. Drei Vorsprünge in jedem Feld trugen die Masten, an denen das velarium befestigt war, ein großes Segel, das dazu diente, das Publikum vor Sonne und Regen zu schützen und das von extra dazu ausgebildeten Seeleuten bedient wurde.
Die Nummerierung der Bögen im ersten Stock entsprach den Nummern auf den Eintrittskarten, die vier Bögen in der Mitte jeder Seite waren nicht nummeriert. Der auf der Schmalseite vor den hochgestellten Persönlichkeiten vorbehalten, der auf der Langseite den Gladiatoren.
Seit dem Jahr 1000 wird das Gebäude Kolosseum genannt, vielleicht wegen des daneben stehenden Koloss des Nero, einer gigantischen Statue aus vergoldeter Bronze, die im Mittelalter zerstört wurde.