且说菩提达摩一路北上，风餐露宿，抵达洛阳。洛阳此时崇佛风盛，龙门石窟的开凿如火如荼，城内寺院鳞次栉比，香烟荡荡，念经声不绝于耳。达摩在城中行走，耳濡目染，十分欣慰。在洛阳内城东第一门青阳门街道北有修梵寺，寺内有金刚力士，孔武有力，“鸠鸽不入，鸟雀不栖”，达摩见此景感叹：“得其真想也。”见到豪华壮丽的永宁寺及寺塔，达摩的心灵更受到极大的震撼。

    《洛阳伽蓝记》载，达摩“见金盘炫日，光照云表，宝铎含风，响出天外，歌咏赞叹，实是神功”。他说他活了150岁，历涉诸国，而此寺精丽，阎浮（概指五天竺）所无也！又说“及佛境界，即未有此”！于是，他顶礼膜拜永宁寺塔，“口唱南无，合掌连日”。

    达摩认定洛阳是修行弘法圣地，决定留在洛阳。但禅宗修行需要清净之地，他走遍洛阳周边山水，最后来到嵩山少林寺，挂单（指行脚僧到寺院投宿）后，修坐禅之功。

    相传达摩为修得正果，在少室山北麓、少林寺后五乳峰的一个岩洞住下，终日“壁观婆罗门”（即景观清净），俗称面壁，一连9年。此岩洞被后人称作“达摩洞”，洞中原有一块“达摩彩石”，据说是达摩祖师面壁9年，精诚所至，影透石中。之后，这块影石被移出达摩洞，存在少林寺中。

    达摩面壁9年，为解除久坐而造成的筋骨困倦、精神萎靡，也为了防御毒蛇猛兽侵扰，他模仿虎、猴、鸟、蛇的动作，活动肢体，形成一套“心意拳”，最后，这套拳发展成为驰名中外的少林武术。

    达摩面壁9年，终得透悟后，将衣钵传给弟子慧可，自己带几位弟子离开少林寺，在洛阳一带云游弘法。达摩弘法普世法雨，竭尽心力，但他主张的“禅定”尚不为众人所接受。当时，北魏盛行讲经，高僧大都引经据典，高谈阔论，口若悬河。忽然来了位高僧“不立文字”只坐禅，人们便对达摩讥讽和诽谤，甚至认为是旁门异端，多次施毒加害。据传，达摩一生被人下过5次毒，这5次由于事先防备或事后及时救治，均安然无恙。第6次，达摩自度化缘已尽，传法已有后人，遂不再救治，于文帝大统二年（公元536年）十月五日，端坐于洛河之滨(今宜阳县韩城至三乡一带)圆寂，十二月二十八日，众弟子葬达摩禅师于熊耳山前的定林寺。

    相传，达摩圆寂后，出使西域取经的宋云，却在大戈壁中遇到达摩。只见他赤着脚，提着一只鞋，闷闷不乐地走着，宋云问道：“大师去哪里？”达摩答：“回西天。”说完头也不回，独自西行。宋云回到洛阳，向众人谈起此事，大家都感惊诧。僧人们挖开达摩墓，只有一口空棺材，里面还有一只鞋，皇帝听说后，下诏将鞋子取出，送到少林寺珍藏，并将定林寺改名“空厢寺”，这就是佛教界广为流传的达摩祖师“只履归西”的传说。

    达摩圆寂时并无谥号。直到唐代才被加封为“圆觉大师”，据唐代《再建圆觉大师塔志》载，郭子仪在“安史之乱”后、收复洛阳的第二天，向唐肃宗李亨上表，请求赐达摩谥号，该事拖至唐代宗李豫，才下诏达摩为“圆觉大师”，塔号为“空观”。当时有“空观”。由郭子仪为功德主，建空观塔于熊耳山空厢寺，但到唐代武宗李炎时期，武宗灭佛，“率土塔庙，据为丘墟，大师塔志，亦随湮灭”。唐大中四年（公元862年），唐宣宗李忱下诏重建空厢寺、空观塔，洛阳知名僧俗数百人公推龙门天竺寺审元禅师主事，终恢复了寺塔。

    由于空厢寺历代属少林寺管辖，因此，主持该寺的高僧不少。宋代：有挺、慈禅师、恩恭；金代：白云海公、佛光道悟；元代：藏云慧山、息庵又让、凤林珪公；明代：嵩溪子定等。空厢寺至今尚存，位于陕县李村乡徒沟村北，寺北面有一座七层砖塔，建于明洪武四年（公元1372年），当地人称“达摩塔”，塔东侧有4通古碑，分别刻有《菩提达摩大师颂并序》《菩提达摩圆觉大师碑》《重修空厢寺记》等，多为明代所立。