Ο χώρος όπου βρίσκεται σήμερα το Μουσείο Ορσέ καταγράφεται ιστορικά από τις αρχές του 17ου αιώνα, όταν η Μαργαρίτα των Βαλουά έχτισε εκεί την κατοικία της, ένα μεγαλοπρεπές ανάκτορο στις όχθες του Σηκουάνα που να αντικρίζει, στην απέναντι όχθη, το Λούβρο και τον Κήπου του Κεραμεικού. Το 19ο αιώνα, έρχεται η σειρά ενός καινούργιου κτηρίου, του Παλέ ντ' Ορσέ, το οποίο ο Ναπολέων προόριζε για το Υπουργείο Εξωτερικών. Ωστόσο, τον Μάιο του 1871, η περιοχή κάηκε και από το μνημειώδες ανάκτορο δεν έμειναν παρά μόνο ερείπια. Το οικόπεδο παραχωρήθηκε, εν συνεχεία, στη Σιδηροδρομική Εταιρεία της Ορλεάνης και στις 14 Ιουλίου 1900, τη χρονιά της μεγάλης Παγκόσμιας Έκθεσης, εγκαινιάστηκε ο Σιδηροδρομικός Σταθμός του Ορσέ. Για την κατασκευή του χρησιμοποιήθηκαν 12.000 τόνοι μετάλλου, σχεδόν διπλάσια ποσότητα από αυτήν που χρησιμοποιήθηκε για τον Πύργο του Άιφελ. Το 1977, ο Βαλερύ Ζισκάρ Ντ' Εστέν λαμβάνει την απόφαση να μετατραπεί ο παλιός σιδηροδρομικός σταθμός σε μουσείο. Το Δεκέμβριο του 1986, επί προεδρίας Μιτεράν, το Μουσείο Ορσέ ανοίγει τις πύλες του στο κοινό.
Δυόμισι εκατομμύρια επισκέπτες θαυμάζουν κάθε χρόνο σχέδια, πίνακες ζωγραφικής και γλυπτά που καλύπτουν χρονική περίοδο από τα μέσα περίπου του 19ου αιώνα μέχρι την αυγή του 20ού: φωτογραφία, κινηματογράφος, αρχιτεκτονική, μαζί με αριστουργήματα των Ενγκρ, Μανέ, Σεζάν, Πισαρό, Σισλέ, Ντεγκά, Μονέ, Ρενουάρ, σε μια μόνιμη συλλογή περίπου 4.000 έργων.