菩提达摩祖师是印度南天竺国人，刹帝利种姓族。他的父亲名字叫香至。达摩大师是香至的第三个儿子。
摩诃迦叶为了要续佛慧命，使法水常流，就将正法眼藏和衣钵以直指单传的形式，再传给阿难尊者，这是西天第二代祖师。再由阿难传法给商那尊者，法灯续焰，一直传到第二十七代般若多罗尊者，将正法眼藏和衣钵传付于菩提达摩大师，为西天第二十八代祖师。当时并嘱咐达摩大师说：“吾灭度以后六十年，希望你将此正法眼藏和衣钵传到中国去绍隆佛种，普利众生。”
到了梁武帝大通元年（公元年），达摩大师乘一只做生意的商船，航海东来。先来到中国南海，当时的南海刺史肖昂，马上写了一道表上报梁武帝。粱武帝得知印度来了一个有道高僧达摩大师，心里非常敬仰。于是派人到南海来专程迎接到金陵，弘扬佛法。
梁武帝是非常信仰佛法的，每隔五里地方，就造一座寺，每隔十里地方，就造一所庵，度很多善男信女去出家做和尚、当尼姑。他自己对于佛法也非常精通，但他只知道着相事修，追求人天福报，不知道离相妙修求证佛果菩提。梁武帝一见到达摩大师，就请求开示法要。
帝曰：朕一生所有造寺、度僧、写经、弘扬佛法，到底有没有功德。
祖曰：没有功德，只是人天之果，有漏之因，如影随形，看来虽有，实在没有。
帝曰：如何是真功德呢？
祖曰：清净智慧是微妙圆融，本体空寂，无法可得，如是功德，绝对不是世间上有为之法所能求到的。
帝曰：如何是圣人所求的第一义谛呢？
祖曰：廓然浩荡，本无圣贤。
帝曰：对朕者谁？
祖曰：我不认识。
达摩与梁武帝二人，一问一答，可惜不能契合于梁武帝的小机。由于教大机小，所以梁武帝没领悟达摩大师的根本法要。达摩大师认为这是机缘不合，就离开金陵到洛阳去了。
后来，梁武帝把上面的问答情况，告诉他的师傅志公禅师，禅师听后大吃一惊，即对梁武帝说：“达摩大师这个开示实在太好了，他是观音大士，传佛心印的大权出现，乘愿再来。”
梁武帝听志公禅师这么一说，心里感到懊悔，自愧有眼不识泰山，当面错过，立刻就下了一道命令，派遣许多兵马，急急追赶，一定要把达摩大师请回来，承事供养。达摩大师刚刚走到江边，回头一看，后面有许多兵马追赶而来，大师正在危急时刻，随手就折了一枝芦苇，掷在江中，脚踏芦苇渡江，扬长而去。这就是传说中的一苇渡江。
到了洛阳，住在嵩山少林寺，面壁九年，深入禅定，后来古人写了一付对联：“一苇渡江何处去，九年面壁待人来。”
菩提达摩祖师从印度把佛教禅宗传到中国，被称为是中国禅宗第一代开山祖师。再由菩提达摩祖师把正法眼藏和衣铱，传给二祖慧可大可，这叫做灯灯续焰，一叶相承