A kolostort 1225-ben Bertalan pécsi püspök alapította a hegyen élő szerzetesek számára. Ez a kolostor lett az 1308-ban megalapított egyetlen magyar eredetű szerzetesrendnek az anyakolostora. A pálosok a középkorban többször is bővítették román stílusban, de Pécs eleste után (1543) a szerzetesek elhagyták. A török kiűzése után a kolostort barokk stílusban helyreállították (1736), de II. József rendelete miatt (1780) újra elhagyták. II. világháború után pár évre újra beköltöztek a pálosok, azonban a kommunista hatalomátvétel után pár évvel a szerzetesek jó részét bebörtönözték, a többieket pedig kiköltöztették. Ma a pálosok Pécsen élnek és a szerzetesek létszáma lassan gyarapszik is.
Az 1700-as években fejlett kertgazdálkodást folytattak, ennek köszönhető, hogy máig megtalálható néhány elvadult cseresznyefa. Szintén a barokk korban hozták létre a rendkívül bonyolult vízvezetékrendszert, amelyre azért volt szükség, mert a kolostor egy fennsíkon helyezkedik el. Forrás nincsen a közelben, ezért a csapadékvizet össze kellett gyűjteniük. A kert közepén egy magas gáttal övezett, feltehetően középkori vagy akár őskori eredetű mesterséges tó helyezkedett el, amely csatorna és víztároló rendszereken át biztosította a vízellátást.
A kolostort az év bármely szakaszában könnyen megközelíthetjük több irányból is. A legszebb, de legnehezebben megmászható útvonal Kővágószőlősről indul. Ha ezt választjuk, akkor a 6-10 m magas őskori földsáncon kívül (ez bármely irányból megtekinthető) a Babás-szerköveket és a Sasfészek sziklafalat is láthatjuk. Szerintem tavasszal és kora nyáron a legszebb a környék, mivel a medvehagyma ekkor nő, de ha van tél akkor is nagyon szép a táj.