白衣庵建于宋朝时期，距今已将近900年，其依山而建，因古时庵堂里面一直供奉一座白色观音泥塑像，并有一名白衣女子在内修行而取名“白衣庵”。登数十级青石曲径，进入庵门，可以看到庵洞如穹窿，深约7米，宽约11米，高4米，洞顶有石乳石窝微微凸显。岩室宽大如厅，可容百人，堂上供佛像10多尊。这里，历来都有一些身世凄凉或逃祸避难的妇女来此削发为尼，修行苦度。