Njeni začetki segajo v drugo polovico 17. stoletja. " Ko je bil ta dvorec nekako spremenjen v samostan, so se pa tukaj naselili Redovniki ali Menihi Pavlinci iz hrvaške Lepoglave in nekako tudi v svojih redovnih pravilih imeli zapisano kot redovi tudi ostali se morajo ukvarjati in pa poskrbet za telesno bolne, teoretično tudi za sebe in so si potem tukaj pri nas v Olimju, v našem samostanu potem uredili to samostansko lekarno. " Leta 1780 je slikar Lerchinger lekarno obogatil s freskami, ki predstavljajo spomenik zdravilnim zeliščem in Božji slavi.