东汉永平年间，汉明帝刘庄有天晚上做了一个梦：有一金光神人自西方踏空而来，绕殿而飞，宝相庄严，目光慈祥神情和蔼。第二天他召集群臣，此梦何解？通事大臣傅毅见多识广，禀奏道：我听说西域有一神，曰释迦牟尼佛，陛下梦到的想必就是他。汉明帝说，看来我与佛有缘啊！于是派遣大臣蔡愔与秦景等人出使天竺，寻访佛法。
蔡愔等人到达天竺后，遇见了正在宣讲《金光明经》的高僧释摩腾。释摩腾精通大乘与小乘经义，游历四方，传播佛法。蔡愔秦景说明来意，诚心邀请释摩腾到汉邦。释摩腾立志宏扬佛法，欣然应允，同时邀请了好友，另一位高僧竺法兰一同前往。众人收拾停当，以白马驮经，不辞劳苦，经过流沙荒野，长途跋涉来到洛阳。
汉明帝热情接待了他们，先将他们安顿在官署“鸿胪寺”暂住，又在洛阳城西门外新建馆舍。建成后取名“白马寺”，纪念“白马驮经”之意，“寺”字即源于“鸿胪寺”之“寺”字，后来“寺”字便成了中国寺院的一种泛称。
佛教刚到东土，人们并不相信。释摩腾与竺法兰宣讲时遇到不少困难，后来便潜心译经，二人通力合作，用汉语译成了《四十二章经》，是为第一部汉文佛经。积劳成疾，两位高僧先后圆寂，葬于白马寺。（出《高僧传》）
东汉末年，战火四起。以袁绍为盟主的“十八路诸侯讨董卓”，联军将洛阳包围，董卓胁汉献帝西逃，下令焚毁洛阳城，白马寺首次毁于战火，后由曹魏重建。