峨眉山为道教“第七洞天”，神话传说中，道教人物吕洞宾、赵公明等也在峨眉山修行，峨眉山至今仍有遗迹。这些虽然只是神话传说，但证实了峨眉山道教曾经相当繁荣。但由于佛教自晋代入峨眉山后，地位不断增强，导致道教不断弱化。
明代，几任皇帝多次赏赐峨眉山佛教各种珍宝，甚至赐建圣寿万年寺（至今仍是峨眉山主要寺庙和旅游胜地），佛教之盛可见一斑。道教此时已略见衰微，但这并不是说道教就已经不存在了。
据考证，当时道教基本上辗转到一些边缘地方，如峨眉山附近的绥山，猪肝洞（又名紫芝洞，地方志记载为传说中吕洞宾修炼处）等道教修炼之所，直到清代，这里的尹道士、蔡道士还是峨眉武术中的佼佼者。
此外，至今乐山中心城区的一些地名仍有道教的影子，如兑阳湾、文昌宫等。从这些史料上，我们推断不出“峨眉道人”是和尚还是道士，但有一点可以断定，那就是“峨眉道人”的武术肯定流传了下来。因为无论是和尚还是道士，无论是佛教还是道教，在峨眉山、乐山的香火一直秉传，道教一直到民国期间仍然有较大规模的活动，而佛教至今仍然非常兴盛。
在这种情况下，峨眉武术的师门传承也不可能中断，否则就无法解释乐山武术的兴盛了。
