Het Museum Rijswijk is gevestigd in een statig herenhuis in het hart van oud-Rijswijk.Het pand dateert in zijn huidige vorm uit omstreeks 1790, maar is gebouwd op de restenvan een 17de eeuwse boerderij. In het midden van de 19e eeuw woonde de dichter Hendrik Tollens (1780-1856) in het pand. Hij was zo beroemd dat het huis naar hem werd vernoemd en tot op de dag van vandaag voert het Museum Rijswijk de bijnaam Het Tollenshuis.

In 1994 werd naast het Tollenshuis een expositievleugel gebouwd, waar de tijdelijke tentoonstellingen worden gehouden. Een geheel nieuwe ingangszaal verbindt het bestaande museum met de nieuwe expositiezalen en geeft ook toegang tot het terras aan de achterzijde van het museum en tot de grote tuin met tal van inheemse planten.

Een deel van de collectie van het Museum Rijswijk wordt geëxposeerd in het Tollenshuis. Vanuit de ingangszaal betreedt men eerst de 17de eeuwse kelder, waar een deel van de Rijswijkse bodemvondsten wordt tentoongesteld. Vanuit de kelder bereikt men via de laat 18de eeuwse hal de Tollenskamer. Dit vertrek bevat herinneringen aan de dichter Hendrik Tollens (1780-1856). Behalve zijn literaire oeuvre, dat in tal van uitgaven aanwezig is,zijn hier diverse persoonlijke bezittingen van de dichter te zien.

De salon bevat nog de oorspronkelijke betimmering en stucdecoraties uit 1790. Hier hangt het imponerende kerkinterieur van Abraham Calissendorff (1854-1898), dat in de volksmond 'de Nachtwacht van Rijswijk' wordt genoemd. Diverse interieurstukken en stillevens van Rijswijkse kunstenaars, zoals Willem Carel Nakken (1835-1926) en Wijnand Bastiaan van Horssen (1863-1931), completeren het beeld van de schilders die rond de eeuwwisseling in Rijswijk werkzaam waren.

In de grote zaal op de eerste verdieping worden voorwerpen geëxposeerd die betrekking hebben op de Vrede van Rijswijk. De onderhandelingen voor dit in 1697 gesloten akkoord werden gevoerdin het Huis ter Nieuwburg, een van de paleizen van stadhouder Frederik Hendrik (1584-1647). Tot de verzameling behoren gravures, penningen en boekwerken die de gebeurtenis uit 1697 herdenken.
Het Huis ter Nieuwburch was in de 17de eeuw ook een geliefd onderwerp voor kunstenaars. Van de hand van Anthonie Jansz van der Croos (ca.1606-ca.1664) bezit het museum twee gezichten op het paleis. Van Jacob van der Croos (ca.1630-na 1683) is hier ook het enige bekende, 17de eeuwse gezicht op Rijswijk te zien. Uit de 18de en 19de eeuw zijn meer gezichten in en om Rijswijk bewaard gebleven. Werken van onder andere Jan te Compe (1713-1761), Bartholomeus van Hove (1790-1880)en Charles Rochussen (1814-1894) geven een beeld van het toen nog landelijk gelegen dorp met de omringende buitenplaatsen.
In de twee kleinere bovenzalen worden werken geëxposeerd van kunstenaars die lid waren van de Verenigde Rijswijksche Kunstenaars, zoals Carel Nakken (1835-1926), Frits Mondriaan (1853-1932),Pieter de Regt (1877-1960), Otto Kriens (1873-1930) en Wijnand Bastiaan van Horssen (1863-1931). De hedendaagse kunstenaars zijn vertegenwoordigd door Hermanus Berserik, Kees Andrea en Karel Delfos. Van Peter Gentenaar en Patricia Gentenaar-Torley bezit het museum diverse papierkunstwerken.

Het Museum Rijswijk organiseert jaarlijks circa 10 tijdelijke tentoonstellingen. Accenten in hettentoonstellingsprogramma zijn de tweejaarlijkse exposities gewijd aan schilders van de Haagse School of hun tijdgenoten en de Holland Papier Biënnale, die een overzicht geeft van de ontwikkelingen op het gebied van de hedendaagse, (inter)nationale papierkunst.