Na Górę św. Anny pielgrzymowano zapewne już w zamierzchłych czasach, ale miejsce to zaczęło przyciągać pielgrzymów od czasu zapoczątkowania kultu św. Anny.
Pisana historia sanktuarium rozpoczęła się w XV wieku. Około roku 1480 właściciel Poręby - wioski leżącej u podnóża góry - Krzysztof Strzała i jego syn Krystek zaciągnęli znaczne pożyczki, prawdopodobnie celem zbudowania kościoła na szczycie należącej do nich góry.
W 1516 roku biskup wrocławski Jan Turzo podpisał w Nysie dokument, z którego wynikało, że kolejny właściciel Poręby Mikołaj Strzała przekazał kościół św. Anny na Górze Chełmskiej opiece duszpasterskiej proboszcza parafii w Leśnicy. Przyjmuje się zatem 1480 rok za początek annogórskiego sanktuarium.

Góra szybko stała się miejscem pielgrzymkowym, a jego rangę podniosło przekazanie gotyckiej figurki wraz z umieszczonymi w niej relikwiami św. Anny. Dalszy rozwój tego miejsca związany był z losami wywodzącej się spod Wielunia Rodziny Gaszynów (de Gaschyn).
W 1631 roku stali się oni właścicielami Żyrowej, a w 1637 nabyli Porębę wraz z Górą św. Anny. Hrabia Melchior de Gaschyn po wielu latach starań sprowadził na Górę Chełmską małopolskich franciszkanów - reformatorów z klasztoru w pobliskich Gliwic.
Oficjalne przekazanie zakonnikom kościoła oraz terenu pod przyszły klasztor i ogród nastąpiło 6 sierpnia 1656 roku. Franciszkanie pozostali na Górze św. Anny do dziś, choć trzykrotnie w ciągu kilkusetletniego pobytu byli usuwani z klasztoru.

W roku 1639 na Górze św. Anny stał już drewniany kościół, a niespełna 100 lat później wzniesiono murowany. Zbudowano też dziedziniec otoczony krużgankami, zwany dziś Rajskim Placem.
Kolejny dobrodziej franciszkanów Jerzy de Gaschyn przystąpił do budowy Kalwarii na wzór Zebrzydowskiej. Dzieła jego dokończył Antoni de Gaschyn zwany Mocnym w 1764 roku.
Góra św. Anny stawała się szybko centralnym miejscem życia religijnego w tej części Śląska. Aby pomieścić wszystkich pielgrzymów wybudowano najpierw Grotę Lurdzką (1912-1914), a potem Dom Pielgrzyma (1929-1938) na około 2000 miejsc.