峨眉武术并不是“峨眉山武术”，它涵盖了四川乃至整个西南地区的武术内容。但是，有一点是不可否认的，那就是，峨眉武术的故乡在中国著名的旅游城市、世界自然与文化双遗产所在地———四川乐山。
乐山古称嘉州，风光秀美雄奇冠绝天下。正是因为如此深厚的历史文化底蕴，才使其成为中国峨眉武术的圣地。
嘉州古城为蜀王“开明故治”，史于春秋。乐山相传：蜀王鳖灵手下有四大武将，以现今乐山大佛所在处的篦子街为中心，分别镇守在东、西、南、北四方位。而这四个地方以这些将军的名字为地名，这便是北牟子、东车子、西郑子、南莫（后讹传为磨）子。数千年后的今天，乐山市中区仍有这些地名。
真实的峨眉武术，起源于道教，后又吸收了佛家的精华。女皇武则天在公元702年设置“武举科”以来，乐山便是武生考场之一。清末，峨眉山隐士“徐矮子”将峨眉武术自然门拳术传与杜心五。杜心五系同盟会先驱者之一，东渡日本留学后结识了孙中山先生，之后曾任孙中山先生的贴身保镖，人称“南北大侠”。
民国时期，乐山武术高手辈出。当时成都长期摆擂“打金章”，胜者可赢得金质奖章并谋取军队武术教官职务，乐山人多次打擂，夺得金章者达19人。
1956年，乐山成立了武术协会，组织了一批老拳师义务向群众授拳。据调查，当时在乐山群众中比较流行的拳术有42个套路，棍法10种，枪法7种，剑法14套，刀法10套，杂件5套。
