W 1676 roku dobra wejherowskie i rzuczewskie nadbył od dwóch córek Weihera ks. Michał Kazimierz Radziwiłł. Po jego śmierci (w 1681 roku) majątek odziedziczyła małżonka Katarzyna z Sobieskich. Ona z kolei w 1685 roku darowała dobra swojemu bratu Janowi III Sobieskiemu. Po śmierci króla majątek przeszedł na żonę Marię Kazimierę i ich syna Aleksandra. Po jego zgonie Wejherowo wraz z Rzucewem i Kolebkami przypadły młodszemu bratu Jakubowi Ludwikowi.
Przebendowscy zakupili starostwo puckie oraz dobra wejherowsko-rzucewskie po roku 1714 za sprawą ówczesnego wojewody inflanckiego Piotra Jerzego Przebendowskiego. Ten prowadził w imieniu rodziny rozmowy z królewiczem Jakubem Sobieskim. Ich negocjacje zakończyły się pomyślnie dla Przebendowskich. Podskarbi wielki koronny Jan Jerzy Przebendowski otrzymał starostwo puckie 3 lutego 1717 roku. W marcu tego samego roku przekazał je swojemu kuzynowi, wojewodzie inflanckiemu Piotrowi Jerzemu. Dobra wejherowsko-rzucewskie królewicz Jakub Ludwik sprzedał 20 października 1720 roku za 320 000 złotych polskich Piotrowi Jerzemu.
W 1767 roku Ignacy Franciszek Przebendowski rozpoczął budowę pałacu w Wejherowie. Powstawał on w miejscu ogrodów mieszczańskich nad Cedronem. Pierwszym etapem budowy nowego obiektu było osuszenie podmokłego gruntu, który często był narażony na wylewy Cedronu. Wynikiem tychże prac są widoczne do dziś stawy położone wokół założenia parkowego. Prace zostały przerwane w 1772 roku (I rozbiór Polski). Prusy Królewskie niemal w całości zostały włączone do państwa pruskiego. Wojewoda pomorski przerwał budowę siedziby rodowej w Wejherowie i postanowił na stałe opuścić rodzinne strony. W kwietniu 1774 roku Ignacy Franciszek Przebendowski sprzedał za sumę miliona dwudziestu tysięcy złotych polskich, dobra rzucewsko-wejherowskie bratu stryjecznemu, chorążemu pomorskiemu Józefowi Antoniemu Przebendowskiemu z Kolibek.
Następnie właścicielem Wejherowa został ród Keyserlingków. W owym czasie ważnym faktem dla regulacji miasto – dobra Keyserlingków był fakt podzielenia ich na dwa klucze – wejherowski oraz rzucewski (po śmierci Ottona w 1820 roku). Rzucewskie dobra były posagiem córki Emmy, poprzez jej małżeństwo przeszły w ręce rodziny von Below.
Jeszcze wcześniej ok. 1800 roku hrabia Otto von Keyserlingk dokończył budowę pałacu. Został on wtedy przebudowany w stylu empiryzmu. Oba skrzydła powstały w trakcie rozbudowy w 1857 roku. Ta data widnieje na frontonie ogrodowym budowli. W 1922 roku pisał o nim Józef Staśko (cytat podany za „Historią Wejherowa"): „Mimo że nie stoi na poziomie tak wysokim pod względem artystycznym, jak zamek w Rzucewie, pałac w Krokowie, zamek w Barłominie, czy też pałac oliwski, jednak znać zaraz, że to rezydencja magnacka, pańska. Jak dwór króla Jana Kazimierza w Karlikowie koło Sopotu, ukryty wśród drzew i nad stawem uroczym wznosi się i ten pałac wejherowski, zwany zamkiem. Obchodzimy go wokół i stajemy na tarasie zamkowym, u stóp którego bije wspaniała fontanna wśród kwiatów i zieleni. [...] Chociaż pałac Keyserlingków – nazwany zamkiem nie posiada specjalnych jakiś rzeźbami ornamentyki, jednak na tle okolicznej zieleni i stawu czyni miłe wrażenie."
Tak opisywany pałac w stylu angielskim otrzymał dzięki przebudowie i rozbudowie z 1857 roku formy neogotyckie. Obiekt był własnością rodową Keyserlingków do końca II wojny światowej. Po wojnie w pałacu mieściły się kolejno: Technikum Leśne, internat oraz przedszkole. Od 1993 roku stał się siedzibą powstałego w 1968 roku Muzeum Piśmiennictwa i Muzyki Kaszubsko-Pomorskiej w Wejherowie.
