Historia kolekcji sięga 1965 roku, gdy muzeum zakupiło 110 pastelowych prac od mieszkającego wówczas w Lęborku Michała Białynickiego-Biruli, syna Teodora - zakopiańskiego lekarza i bliskiego przyjaciela Witkacego. W 1973 roku dokupiono m.in. zespół 12 rysunków i 2 portretów pochodzących ze zbiorów rodziny Jana Józefa Głogowskiego, inżyniera i fotografa związanego z Witkacym. Rok później muzeum pozyskało 40 prac od Włodzimierza Nawrockiego - dentysty zaprzyjaźnionego z artystą, któremu ten ostatni w zamian za usługi stomatologiczne rewanżował się portretowaniem krewnych. W 2005 roku kupiono 14 portretów ze spuścizny po filozofie Janie Leszczyńskim. Pozostałe prace nabywane były pojedynczo, od prywatnych oferentów lub za pośrednictwem antykwariatów i galerii. W kolejnych latach muzeum sukcesywnie powiększało swoją kolekcję.
