El Ermitage está situado en el centro de San Petersburgo, sobre la orilla izquierda del río Neva. Fue incluido en el proyecto de la nueva fundación de la ciudad ordenada por Pedro el Grande. Ubicado en una serie de edificios del siglo XVIII -entre los cuales se encuentra el Palacio de Invierno, residencia de los zares hasta la revolución-, fue ampliado en el año 1851 con la realización del Nuevo Ermitage, en base a un diseño de Leo Von Klenze, arquitecto de la Pinacoteca de Munich. El museo fue abierto al público en el año 1852 y después de la revolución acogió objetos de otras residencias imperiales y también de grandes familias nobles y burguesas.
Fue Catalina II quien inició la colección de obras de arte. El primer núcleo de cuadros, principalmente obras flamencas y holandesas, se remonta al año 1764 (Cranach, Rembrandt, Jordaens). Al principio se adquirieron sobre todo obras de artistas occidentales, gracias a las relaciones políticas de los zares rusos con Occidente.
Con la ayuda de Diderot, Catalina se aseguró obras importantes como Judith de Giorgione y una rica colección de artistas franceses contemporáneos, de Watteau a Boucher, de Fragonard a Vernet.
En el año 1779 el embajador en Londres logró hacerse con gran parte de la prestigiosa colección de lord Walpole, ampliando El Ermitage notablemente.
A lo largo del siglo XIX se continuó la política de adquirir obras de colecciones privadas y al mismo tiempo se establecieron relaciones directas con los artistas, como por ejemplo Reynolds quien pintó especialmente para El Ermitage el Cupido desatando la cinta de Venus.
Durante el siglo XX, gracias al interés de coleccionistas privados, el museo de El Ermitage ha ampliado sus colecciones con obras impresionistas (Gauguin) y de escuelas francesas y españolas (Matisse, Picasso).
Después de la Revolución de Octubre, el Museo empezó a exhibir asimismo las obras de los más importantes pintores rusos, de Chagall a Kandinsky, y de Larionov a Goncharova.
Español