霍元甲（李连杰 饰）年少时以稚嫩的霍家拳打败向他挑衅的武人之子赵健后习武信心大增，凭着对武术极高的天分及热情，他的武艺日益精进，成为天津赫赫有名的武师，可是其性情也变得浮躁傲慢，越来越好勇斗狠。得知徒弟被天津另一高手秦爷重创后，霍元甲不问原由闯入秦爷寿宴，威逼其当场签生死状与他比武，虽然最后他取得了胜利，但却因此赔上了母亲及女儿的性命。大错铸成后，痛不欲生的霍元甲神志昏乱远走他方。后得某偏远村落的村民孙婆婆及其失明孙女月慈（孙俪 饰）的悉心照料，霍元甲复原了精神气，也逐渐领悟到了武学的真谛。

隋朝末年，隋将王世充的侄子王仁则（于承惠 饰）在督建河防工事时，杀死了起来反抗暴虐的神腿张，但令其儿子小虎子跳河逃离虎口。小虎子被少林僧人救起收入寺中后，为报父仇毅然削发为僧，法名“觉远”（李连杰 饰）。
王仁则的侍卫长遇见牧羊女白无瑕（丁岚 饰）后垂涎其美色，强行将其 抢回府并欲酒 后施暴，恰巧被只身前来报仇的觉远发现。在救白无瑕逃生的过程中，觉远因武功欠佳被王仁则刺伤，促使其回到少林寺后更加刻苦练功。后因觉远救援被王仁则追赶的李世民，少林寺遭遇劫难，觉远身上的责任更重一层。