A Trinitáriusok 1738 októberében telepedtek meg Óbudán,ekkor még csak ideiglenes otthonukban, az óbudai Fő tér közelében, a kastélytól délre. A bécsi tartományfőnök Johann Entzenhoffer bécsi építészt bízta meg a kolostor terveinek elkészítésével, aki azokat 1743 végén - 1744 elején terjesztette a rezidens elé. A kolostor építése 1745 májusában kezdődött, a mai nyugati szárny alapozásával. Az alapkőletétel augusztus 12-én történt. Az építkezés mintegy 15 éves folyamata jól nyomon követhető.
    A kiscelli dombon békésen elterülő barokk épületegyüttes térhatásában megőrizte egykori jellegét. A földszintes melléképületek karélyából emelkedik ki az egyemeletes kolostorépület a sekrestyével és az oratóriummal együtt.
    A Trinitáriusok 1738-as letelepedésük után gyorsan közkedveltek lettek Óbudán. A fehér ruhában, mellükön vörös-kék keresztel megjelenő szerzetesek szükség esetén egyházi szolgálatot is elláttak. Kiscelli templomuk hamarosan kedvelt zarándokhely lett. Évente mintegy 50 ezer ember kereste fel. Szeptember 8-án, Kisasszonynapkor tízezren is ide zarándokoltak az ország különböző vidékeiről. 1783-ban amikor II. József rendelete megszüntette rendjüket meglehetősen népes volt a kolostor. A templom és rendház az állam tulajdonába került. Az épület ebben a formájában volt kaszárnya, katonai korház, hadastyánok laktanyája és katonai szerszámraktár is.
    Az épület a 19.század végén üresen, elhanyagoltan állt. 1911-ben vette meg a kincstártól Schmidt Miksa ismert bécsi bútorgyáros, akinek ekkor már gyára és kiterjedt üzleti kapcsolatai voltak Budapesten. 1935-ben Schmidt Miksa az épületegyüttest, a benne lévő ingóságokkal és a hozzá tartozó parkkal együtt végrendeletében a fővárosra hagyta, azzal a kikötéssel, hogy múzeum legyen benne. A városatyák az akkor már nagyon szűkös körülmények közt működő Székesfővárosi Múzeumot jelölték ki az épület gazdájának.