Kaplicę Czaszek założył proboszcz Wenzel Tomašek w 1776 r. Jest to jeden z trzech takich obiektów w Europie – pozostałe, zresztą znacznie większe, znajdują się w Rzymie i w Sedlcu koło Kutnej Hory.
Według tradycji proboszcz spostrzegł psy, rozgrzebujące ziemię przy starej kostnicy i odsłaniające liczne szczątki ofiar niedawnych wojen śląskich, wojny trzydziestoletniej i epidemii cholery. Znając rzymskie katakumby, postanowił zbudować w Czermnej podobny pomnik, stanowiący godne miejsce pochówku dla martwych i przypominający żywym o nieuchronności śmierci. Zapewne nie sądził, że równocześnie tworzy swego rodzaju makabryczną ciekawostkę, przyszły „magnes” dla turystów, owiany atmosferą sensacji.
Przy pomocy kościelnego i grabarza Langnera proboszcz zebrał również kości walające się w okolicy i oczyścił je (zajmował się tym niemal do końca życia, do 1804 r.). W kaplicy – na ołtarzu, ścianach i pod sklepieniem – zgromadzono ok. 3 000 czaszek i piszczeli, a w krypcie pod podłogą złożono szczątki dalszych 21 tys. ofiar. Moralizatorską wymowę wystroju uzupełnia krucyfiks i figury aniołów, trzymających wagę i trąbę – symbole Sądu Ostatecznego (na tabliczkach pod nimi – czeskie i łacińskie wezwania do zmartwychwstania i udania się na Sąd).