Pałac w dzisiejszym kształcie został wzniesiony w latach 80-tych według projektu słynnego architekta Dominika Merliniego dla szambelan królewskiego - mediolańczyka Karola Aleksandra Tomatisa. Włoch ów był wówczas jednym z najbardziej wpływowych oficjeli dworu króla Stanisława Augusta Poniatowskiego. Wcześnie zrobił wielką karierę w wojsku oraz na dworach w Wiedniu i w Petersburgu, gdzie poznał przyszłego polskiego władcę, wówczas jeszcze księcia Poniatowskiego. Gdy Poniatowski został królem mianował Tomatisa dyrektorem swego teatru. Mediolańczyk znany był ze swego awanturniczego usposobienia oraz z zamiłowania do gry w karty na pieniądze. Nie przeszkodziło mu to jednak bynajmniej, aby w 1765 roku otrzymać z nadania polskiego króla tytuł hrabiego de Valery.
Zaprojektowany przez Merliniego pałacyk był wzorowany na renesansowej rezydencji Villa Rotonda położonej nieopodal Vicenzy w północno-wschodnich Włoszech, w regionie Wenecji Euganejskiej. Na terenach zwierzyńca wybudowano także browar, cegielnię, karczmę, młyn, stodołę, a na zboczu wąwozu budynek kuchni, zainspirowany rzymskim grobowcem Cecylii Metelli. W XIX wieku w tym właśnie budynku kuchni urządzono bibliotekę. W 1794 roku podczas insurekcji kościuszkowskiej w pałacu Królikarni rezydował sam Tadeusz Kościuszko. W 1816 roku Królikarnię nabył Michał Hieronim Radziwiłł. W 1849 roku posiadłość trafiła w ręce Ksawery Pusłowski należącego do słynnej rodziny kolekcjonerów i koneserów sztuki. W 1879 roku na terenie Królikarni wybuchł groźny pożar, który do tego stopnia zniszczył posiadłość, że właściwie wymagała ona odbudowy i gruntownej renowacji. W 1889 r. Królikarnia stała się własnością hrabiny Marty Krasińskiej. W trakcie II wojny światowej pałac został ponownie zniszczony – podczas nalotów powietrznych na Warszawę we wrześniu 1939 roku oraz podczas walk powstańczych w 1944 roku. Na terenie ogrodów powstańcy zaciekle walczyli z Niemcami w wyniku czego doszczętnie spłonął budynek kuchni, zniszczeniu uległ też taras z grotą i spora część drzew.
W 1945 roku na mocy dekretu Bieruta nieruchomość została przejęta przez miasto. W 1948 roku władze komunistyczne podjęły decyzję o jego odbudowie oraz przeznaczeniu na muzeum rzeźby Xawerego Dunikowskiego. Na miejscu miał również zamieszkać sam artysta i planowano urządzenie tutaj jego pracowni. Niestety, Dunikowski zmarł na rok przed zakończeniem odbudowy Królikarni. Muzeum zostało otwarte 26 stycznia 1965 roku. Od 2008 o zwrot nieruchomości starają potomkowie rodziny Krasińskich. Uzyskali oni potwierdzenie, że przejęcie pałacu odbyło się z naruszeniem prawa, jednak nie odzyskali ani własności samej rezydencji, ani terenów, na których jest położona. W 2019 sprawa została przekazana do Sądu Okręgowego do ponownego rozpatrzenia
Przepiękne zielone tereny Królikarni położone na skarpie wiślanej są jednym z ulubionych miejsc spacerów i odpoczynku mieszkańców Mokotowa oraz sąsiadujących dzielnic. W pałacu poza stałą ekspozycją dzieł wybitnego polskiego rzeźbiarza regularnie organizowane są czasowe wystawy prac zarówno polskich, jak i zagranicznych artystów współczesnych. Na terenie parku otaczającego muzeum, wśród drzew i krzewów również prezentowane są rzeźby z kolekcji Muzeum Narodowego w Warszawie.
Park jest też miejscem, w którym organizowane są różne ciekawe imprezy plenerowe. Od 2013 roku w sezonie letnim odbywa się tu cykl koncertów „W Brzask”. Występy muzyków w ramach cyklu odbywają się w wybrane niedziele wakacji i rozpoczynają się punktualnie wraz ze wschodem słońca w danym dniu. W tym roku po przerwie spowodowanej pandemią cykl znowu powrócił. Pierwszy koncert odbył się w przeddzień astronomicznego lata, czyli 20 czerwca, a wysłuchać można było występów Antoniny Nowackiej, Remka Hanaja oraz Basi Kerent - didżejki znanej pod pseudonimem „Uszko”. Najbliższy koncert z cyklu „W Brzask” czeka nas w już w niedzielę 8 sierpnia o 4:30 rano, a wystąpią Wojciech Puś, Pat Dudek i Jerzy Tabor z kompozycją „Pocałunek na głosy elektronikę i obraz”, Marian Lichtman w duecie z Sekretnym Facecikiem w koncercie skat oraz Marta Orlikowska z utworem „La bocca pienna (a full mouth)".
Jednak najważniejszym wydarzeniem tego sezonu w Królikarni jest niewątpliwie trwająca we wnętrzach pałacu od 11 czerwca do 14 listopada wystawa „Xawery Dunikowski. Malarstwo”. Twórczość rzeźbiarska Dunikowskiego jest powszechnie znana, ale o tym, że był również malarzem wiedzą tylko nieliczni. Wystawa w Królikarni może to zmienić. Warto zaznaczyć, że została ona zainaugurowana po okrągłych 60 latach od wielkiej prezentacji dzieł Dunikowskiego w Muzeum Narodowym w Warszawie. Na wystawie zgromadzono ponad 50 prac malarskich: cykl płócien poświęconych wspomnieniom z Auschwitz, pejzaże, portrety oraz obrazy, dla których inspiracją był świat przyrody i kosmos. Większość z tych dzieł pochodzi ze zbiorów Muzeum Narodowego w Warszawie. Ekspozycję prac malarskich uzupełniają szkice i rysunki, multimedialny pokaz fotografii archiwalnych oraz rekwizyty z pracowni artysty.
Dunikowski zainteresowanie malarstwem wykazywał już podczas studiów w Szkole Sztuk Pięknych w Krakowie, gdzie regularnie brał udział w plenerach malarskich Jana Stanisławskiego. Pierwszy swój obraz wystawił w 1904 roku. W 1938 roku malarstwu poświęcił prawie całą swoją wystawę w Instytucie Propagandy Sztuki. Po zakończeniu II wojny światowej to właśnie w malarstwie, a nie w rzeźbie poszukiwał ukojenia dla traumatycznych wspomnień z okresu okupacji. Płótna zatytułowane: Boże Narodzenie w Auschwitz w 1944 roku (1950), Orkiestra (1955), Ruszty (1955) czy Droga do wolności (ok. 1955) są odzwierciedleniem przeżyć artysty związanych z pobytem w Auschwitz. Dunikowski jako więzień obozu zagłady był świadkiem wielu okrutnych zbrodni nazistów i poprzez wspomniane obrazy pragnął podzielić się ze światem swymi bolesnymi przeżyciami. Artysta zdaje się też stawiać w tych dziełach ważne pytania egzystencjalne – o sens życia oraz śmierci człowieka. Wspomnienia czasów wojny odnajdziemy też w takich cyklach płócien jak „Muzyka” czy „Kompozycje abstrakcyjne”. Dunikowski tworzył też piękne pejzaże oraz portrety. Na ekspozycji w Królikarni podziwiać możemy, między innymi, portret córki artysty, jak również autoportret twórcy. Dunikowski z wielką afirmacją obserwował otaczający go świat. Uwielbiał przebywać na łonie natury i podróżować i poznawać inne kraje i kultury. W drugiej połowie lat 50-tych ważnym tematem płócien Dunikowskiego stał się kosmos. Właśnie tej tematyce poświęcony jest największy obraz artysty, który powstał, czyli „Człowiek w kosmosie”. Dzieło to o pokaźnych wymiarach 362 × 303 cm, jest na wspomnianej wystawie prezentowane publicznie po raz pierwszy od 1961 roku.
Trwającej w Królikarni ekspozycji towarzyszy cykl wykładów opracowanych specjalnie z myślą o kilku grupach odbiorów - dla rodzin z dziećmi, dla młodzieży i osób dorosłych oraz dla seniorów. Wydana została również publikacja, którą tworzą eseje analizujące oraz podsumowujące działalności i spuściznę artystyczną Xawerego Dunikowskiego.
