La costruzione primitiva, rettangolare, fu fatta erigere da Marco Vipsanio Agrippa, genero di Augusto, nel 27 a.C. per glorificazione della gens Iulia, ed era dedicata alle sette divinità planetarie (collegate al culto dei pianeti o presunti tali: Sole, Luna, Venere, Saturno, Giove, Mercurio, Marte) e particolarmente a Marte e a Venere. La costruzione fu danneggiata da un incendio nell' 80 d.C.; restaurata da Domiziano, fu di nuovo distrutta al tempo di Traiano (110 d.C.). Fu infine ricostruita sotto Adriano tra il 118 e il 125 d.C. in modo radicale facendo ruotare la facciata di 180°.

L' edificio è costituito da un corpo cilindrico in muratura sormontato da una volta a cupola in calcestruzzo, e da un pronao con 16 colonne in granito rosa e grigio sotto un grande frontone triangolare. In basso, nello spessore delle pareti, si aprono 7 grandi nicchie comprese tra due colonne corinzie, sormontate da 8 edicole, decorate in marmo. La gigantesca porta bronzea che chiude il portale marmoreo, è forse quella originale, molto restaurata. La cupola (realizzata con un'unica gettata di calcestruzzo su una centina di legno), emisferica, è alta quanto il raggio del corpo cilindrico; la forma del tempio è quindi quella di una mezza sfera sovrapposta a un cilindro di pari altezza e di pari raggio.

La cupola è decorata con cinque ordini di cassettoni concentrici che si vanno restringendo fino all'apertura circolare che la conclude. L'esedra centrale, semicircolare, è preceduta da due colonne; le altre esedre sono tre per lato: semicircolare quella centrale con una nicchia sul fondo; rettangolari le laterali con tre nicchie: davanti a ognuna di esse due colonne monolitiche sorreggono l'architrave. Tra un'esedra e l'altra sono alcune edicole costituite da due colonnine che sostengono timpani alternativamente triangolari o a sezione di cerchio. Al di sopra iniziava il secondo ordine, di cui è stato ricostruito un tratto. Nel pavimento con quadrati e cerchi inscritti - integralmente conservato nel suo disegno, nonostante alcuni restauri - riapparivano gli stessi marmi adoperati nella decorazione architettonica: porfido, granito, pavonazzetto, giallo antico.

Le numerose nicchie e le edicole erano occupate da statue di divinità: l'edificio era, infatti, dedicato, come dice il nome, a tutti gli dei. Il suo significato originario era piuttosto quello di un tempio dinastico, come indica la presenza delle statue delle divinità dinastiche della famiglia giulio-claudia (Marte, Venere e lo stesso Divo Giulio). In età ellenistica il nome di Pantheon ha un significato ben chiaro: quello di tempio dedicato al re divinizzato e ad altri dei a lui associati. Nel Pantheon di Agrippa, però, la statua di Augusto non era nella cella, ma nel pronao.