W 1637 roku, na polecenie opata Grabińskiego rozpoczęto budowę nowego, południowego skrzydła rezydencji opackiej. Skrzydło południowe zostało przebudowane przed rokiem 1740 na polecenie opata Franciszka Zaleskiego, a w niedługi czas potem, bo już w latach 1754-1756 ponownie, przez Efraima Szregera, na polecenie opata Jacka Rybińskiego. Powstał wtedy rokokowy, dwukondygnacyjny budynek. Chyba najbardziej ozdobnym pomieszczeniem pałacu była ozdobiona rokokowymi sztukateriami sala muzyczna na piętrze. Budynek nazywany Nowym Pałacem Opatów przylega do muru obronnego otaczającego klasztor.
Po śmierci Rybińskiego w pałacu rezydowali ostatni opaci oliwscy z rodu Hohenzollern-Hechingen (Karol - 1782-1803 i Józef 1803-1831). Po kasacie klasztoru i śmierci Józefa Hohenzollerna pałac przeszedł na własność króla pruskiego. W 1869 roku tytuł własności pałacu i parku otrzymała bratanica ostatniego opata, królewska kuzynka Maria Hohenzollern-Hechingen. Księżniczka mieszkała w pałacu do swojej śmierci w 1888 roku.
Po śmierci księżniczki budynek wykorzystywali urzędnicy pruscy, a potem administracja gminy oliwskiej. Próbowano zagospodarować reprezentacyjny, duży budynek pałacu. Rozważano nawet wykorzystanie go jako lokalu rozrywkowego. Gdy Oliwa została włączona w granice miasta Gdańska pałac poddano renowacji i 1 maja 1927 roku otworzono w jego murach Państwowe Muzeum Historii Gdańska (Staatliches Landesmuseum für Danziger Geschichte), którego dyrektorem został Erich Keyser.
Wykorzystywany pod koniec wojny jako magazyn spłonął w 1945 roku. Odbudowę rozpoczęto dopiero w roku 1958 staraniem Muzeum Pomorskiego, które zamierzało otworzyć w pałacu Dział Etnograficzny. Po ukończeniu prac w 1965 roku faktycznie usytuowano tu muzeum, ale tylko w skrzydle południowym. Dopiero, gdy instytut przeniósł się do innej siedziby muzeum mogło wykorzystać pomieszczenia całego pałacu. Gromadzone zbiory pozwoliły na otworzenie w 1970 roku Działu Sztuki Współczesnej. Po przeniesieniu 1988 zbiorów etnograficznych do Spichlerza Opackiego w pałacu powstał, samodzielny Oddział Sztuki Współczesnej Muzeum Narodowego prezentujący stałą ekspozycję sztuki współczesnej i czasowe ekspozycje tematyczne.
