La construction du bâtiment débute en 1892 d'après les plans de l'architecte lyonnais Gaspard André. Il est inauguré en 1902, mais n'est terminé qu'en 1904. Il abrite alors divers services de l’université de Lausanne (UNIL), dont sa bibliothèque. Il accueille également les collections scientifiques et artistiques de la ville et du canton.
Dans les années 1980, vu le manque de place, l'université a été déplacée sur son site actuel, à Dorigny, au bord du lac, et le palais de Rumine a été restructuré