W 1671 roku staraniem karmelity Ojca Karola od Ducha Świętego zbudowano na bramie drewnianą kaplicę chroniącą obraz. W ówczesnym roku został odnotowany pierwszy cud w kronikach klasztornych. Mianowice dwuletnie dziecko zostało przywrócone do życia po upadku z drugiego piętra. Od tego czasu kult rozpoczął się intensywnie rozwijać.
Niespokojne czasy w jakich przyszło żyć mieszkańcom, pożary, wojny jeszcze bardziej spowodowały, że wierni zaczęli gromadzić się u stóp Pani Ostrobramskiej. W czasie jednego z pożarów miasta spłonęła także drewniana kaplica, ale obraz cudownie ocalał. W 1713 r. wybudowano kaplicę murowaną. Początkowo wierni mogli modlić się tylko z zewnątrz z ulicy, ponieważ wejście do kaplicy znajdowało się tylko od strony klasztoru. Dopiero pod koniec XVIII wieku dobudowano wewnętrzne schody dla pątników.
Dwuczęściowa fasada kaplicy z trójkątnym frontonem ozdobionym Okiem Opatrzności – symbolem Bożej opieki – była ozdobiona początkowo napisem po polsku: „Matko Miłosierdzia. Pod Twoją obronę uciekamy się”. Po upadku powstania styczniowego w 1865 r. gubernator wileński Michaił Murawjew kazał usunąć polski napis i zastąpić go łacińskim: "Mater Misericordiae. Sub tuum presidium confugimus ”. W 1933 r. po odzyskaniu przez Polskę niepodległości przywrócono napis po polsku. Po II wojnie powrócono znowu do języka łacińskiego.
W XIX wieku w ramach represji po powstaniu listopadowym karmelici musieli opuścić swój klasztor (1844r.). Kościół i kaplica trafiły pod opiekę duchownych diecezjalnych. Dopiero w 1931r. po odzyskaniu w Polsce niepodległości karmelici powrócili do Wilna. Odnowiono wówczas kaplicę i dodano dębową boazerię z wezwaniami Litanii Loretańskiej.
Do rozpowszechnienia kultu Matki Bożej Ostrobramskiej przyczyniali się także znanie pisarze, poeci, muzycy, politycy. M.in.,: Stanisław Moniuszko skomponował cztery "Litanie Ostrobramskie" na chór i orkiestrę. Adam Mickiewicz w inwokacji "Pana Tadeusza", także wśród prawosławnych wyznawców Ikona ostrobramska otaczana jest czcią. Księga kapłanów odprawiających Msze Święte w Kaplicy Ostrobramskiej odnotowuje również profesora Seminarium Duchownego we Włocławku Stefana Wyszyńskiego.
W 1935 roku przed uroczystością zakończenia Jubileuszu Odkupienia Świata - w pierwszą niedzielę po Wielkanocy- wystawiono do publicznego kultu po raz pierwszy obraz Jezusa Miłosiernego: Jezu, ufam Tobie", namalowany przez malarza Eugeniusza Kazimirowskiego według wskazówek Św. Siostry Faustyny Kowalskiej.
Po wybuchu II wojny światowej, 26 marca 1942 roku, Niemcy uwięzili Ojców Karmelitów we więzieniu na Łukiszkach, a następnie przewieźli ich do obozu pracy w Szałtupiu. Po przejęciu terenu przez wojska sowieckie zakonników zmuszono do wyjazdu do Polski. W czasach komunizmu, gdy zamykano wiele kościołów i budynków sakralnych , Kaplica Ostrobramska była cały czas czynna.
Obraz Matki Bożej Ostrobramskiej.
Obraz został namalowany temperą z uzupełnieniami olejnymi przez nieznanego malarza na 8 deskach o grubości 2 cm. Wielkość obrazu to 2 metry na 162 cm. Głowę Maryi okoloną promienistym nimbem i kręgiem gwiazd zdobią dwie korony: barokowa z końca XVII wieku i rokokowa z połowy XVIII wieku unoszona przez aniołki.
Maryja przedstawiona jest jako Najświętsza Dziewica w momencie Zwiastowania, ze skrzyżowanymi na piersi rękoma, pochylająca pokornie głowę. Sugerują to rzeźby stojące z boku między kolumnami, przedstawiające rodziców Maryi: Świętego Joachima i Świętą Annę. Według innej interpretacji obraz przedstawia brzemienną Maryję, o czym miałyby świadczyć szeroko rozłożone poły płaszcza i dwie korony: jedna dla Niej, a druga dla Dzieciątka Jezus.
U podnóża Madonny znajduje się posrebrzany półksiężyc z napisem: "Dzięki Tobie składam Matko Boska za wysłuchanie próśb moich, a proszę Cię Matko Miłosierdzia zachowaj mnie nadal w łasce i opiece Swojej Przenajświętszej W.I.J. 1849 roku.
W okresie międzywojennym obraz został ukoronowany nowymi koronami poświęconymi przez papieża Piusa XI. Uroczystej koronacji 2 lipca 1927 roku dokonał Abp Metropolita Warszawski Aleksander Kakowski w obecności kard. Augusta Hlonda i 28 biskupów. Obecni również byli Prezydent Ignacy Mościcki i Marszałek Józef Piłsudski. W kaplicy, wśród tysięcy wotów znajduje się srebrna tabliczka od Marszałka z napisem: "Dziękuję Ci Matko za Wilno".
Na sukience Maryi wykute zostały motywy z kwiatów, wśród których znawcy rozpoznali co najmniej dziesięć gatunków roślin, Obfitość roślinności nawiązuje do symboliki średniowiecznej i przedstawia Maryję jako hortus conclusus - ogród zamknięty, wspomniany w Pieśni nad Pieśniami(4,12).