华夏文明第一次大规模吸纳外来文化，是佛教的传入。公元64年，汉明帝刘庄夜梦金人，遣使西域拜求佛法。于是，中国历史上第一次有了西天取经的故事。三年后，蔡、秦等人在月氏（今阿富汗一带）遇上了在该地游化宣教的天竺（古印度）高僧迦什摩腾、竺法兰。汉使同印度高僧用白马驮载佛经、佛像返回洛阳，汉明帝亲自迎接。第二年，敕令按天竺式样在洛阳西雍门外为摩腾、法兰建精舍居住，称为白马寺。“寺”本义是官署，因摩腾、法兰初来时往在官署，又是外宾，为示礼待，就仍称新居为寺。此后，中国佛教建筑就相沿称寺。从此，在东土大地、洛河之滨、天子脚下，便有了中国最早的佛寺，它是佛教在中华大地上赖以发荣滋长的第一座菩提道场，历来被佛教界尊称为“释源、祖庭”。
白马寺建成后，摄摩腾、竺法兰二高僧在其内，译出我国第一部汉文佛经《四十二章经》。从此，法轮东转，佛像生辉。白马寺逐渐成成为中国佛教活动中心，并吸引日本、朝鲜、越南等地僧人来拜佛求法。
历史风雨中，白马寺数毁数建，但寺址从未变过。北魏时，有三千多西域僧人来洛阳进行佛学交流。到隋唐时期，由于佛教的兴盛，白马寺达到鼎盛时期，全国乃至世界各国大德高僧纷纷前来朝拜，这其中就有为中日友好作出过重大贡献的唐代高僧鉴真和尚。七世纪下叶唐武则天时，寺主僧薛怀义有宠于则天，白马寺盛极一时，和尚达千余。武则天也多次亲临，呈现空前繁荣的景象。唐代著名诗人王昌龄写有"月明见古寺，林外登高楼。南风开长廊，夏夜如凉秋。"赞誉寺境幽雅的著名诗句。唐末期在全国范围的灭佛，使白马寺受到重大打击。安史之乱和会昌法难中，白马寺受到较大毁坏，如唐诗所咏：“白马驮经事已空，断碑残刹见遗踪。萧萧茅屋秋风起，一夜雨声羁思浓。”十世纪下叶宋太宗赵光义下令重修白马寺，“鼎新伟构”，“更类天宫”。元至顺四年(1333年)，由大书法家赵孟頫书刻《洛京白马寺祖庭记》碑，现仍立于寺内，是一件不可多得的艺术珍品。今天的白马寺建制奠定于十六世纪上叶明嘉靖时和十七八世纪清康熙时重修的“白马禅林”。我们今天看到的白马寺为明嘉靖三十五年（1556年）整修，大门匾额即为当时镶嵌。一九六一年，白马寺被确定为国家重点文物保护单位。
西晋后赵石虎时代，废止了不让汉人出家的禁令，于是才有了完整意义上的中国佛教第一僧——朱士行。 朱士行，河南颖川人，“少怀远悟，脱落尘俗”。魏甘露二年（257）在洛阳出家（公元249年，天竺沙门昙柯迦罗来到洛阳，开坛受戒后，中国才有了正式登台受戒的僧人，朱士行即为最早）。出家后，他“专务经典”，以弘扬佛法为自己的终生大事业。他在研习由天竺竺佛朔于汉灵帝光和二年（179年）诵出梵文、月氏支谶译成汉文、再由河南洛阳孟福和张蓬笔记的《道行经》的过程中，逐渐发现印度距我国万里之遥，释迦牟尼涅槃已七、八百年，加之语言不通，佛教典籍经过口传翻译、抄录，错漏、矛盾处很多，深感“此经大乘之要，而译理不尽，誓志捐身，远求大”。遂下决心亲自到印度求取梵文原本，然后回国翻译，以传真经。公元260年，亦即出家后的第三年，朱士行从雍州（陕甘边境）出发，克服无数艰难险阻、饥渴病苦，穿过荒漠戈壁和千山万水，徒步跋涉一万一千多里（《后汉书·西域传》），终于在甘露六年（261年）到达于阗国。所以朱士行不仅是我国佛教第一僧，也是西行取经的第一人，他比法显早140年，比玄奘早了四百年。
现在的白马寺占地四万平方米，马寺内宝塔高耸，殿阁峥嵘，长林古木，肃然幽静，百余间殿堂成比较典型的汉地佛寺纵轴式布局，主要建筑位于分布在由南向北的中轴线上。走进山门，依次为天王殿、大佛殿、大雄殿、接引殿、毗庐阁五层殿堂。两侧各有一座石碑，东侧《洛京白马寺祖庭记碑》，由元代高僧文才撰文，书法亦潇洒工丽。寺院两侧有一泰式佛殿，内供一尊七米高的泰国镀金佛像。
在古色古香的白马寺山门内大院东西两侧茂密的柏树丛中，各有一座坟冢，这就是有名的“二僧墓”。东边墓前石碑上刻有“汉启道圆通摩腾大师墓”，西边墓前石碑上刻有“汉开教总持竺法大师墓”。这两座墓冢的主人便是拜请来汉传经授法的高僧──迦什摩腾和竺法兰。石碑上的封号是宋徽宗赵佶追封的。在清凉台上还有二位高僧的塑像。它们寄托着中国佛门弟子对二位高僧的敬慕之情。
再前行，过歇山式天王殿，就到了全寺的主殿大佛殿，殿内释迦牟尼端坐莲台，右手拈花，迦叶、阿难二弟子旁立，文殊、普贤二菩萨列坐，二天女后侍。香案上五供齐备，左右钟鼓高悬，幔帐垂挂，蒲团排列，庄重肃穆。这场景构成即中国佛教禅宗常说的“拈花微笑”。
大佛殿之后是供养着三世佛的大雄宝殿，两厢分列十八罗汉。大雄殿内的23尊元代“夹苎干漆”造像，形态各异，栩栩如生。这些罗汉像呈坐势，姿态不一，神情各异，系元代用夹苎干漆造像工艺塑成，十分珍贵。他们全都是由丝、麻制成，每尊重量仅有3到5公斤，从元代至今700多年来未经修缮，仍然色彩如新，是国内罕见的稀世珍品，也是白马寺的镇寺之宝。白马寺外有二匹相对而立的石马，是宋代雕凿，而非汉代作品。所谓夹苎干漆造像之法，大致是先用漆、麻、丝、绸在泥胎上层层裹裱，然后揭出泥胎，制成塑像，夹苎干漆造像，历史悠久，盛于隋唐，宋后则渐渐失传，存世造像极为罕见。
大殿后是接引殿，再往后就是白马寺内最后的佛殿毗卢阁。毗卢阁初建于唐朝，由青砖砌成，高近七米，长约九米，宽约三米。毗卢阁内供释迦牟尼的清净法身毗卢佛，旁立文殊、普贤菩萨。阁后壁镶有石碑，上刻《四十二章经》。该经简明介绍佛教基本思想，一般认为是最早的汉译佛经，由摄摩腾、竺法兰翻译。毗卢阁重檐歇山，飞翼挑角；阁东西配殿奉有摩腾、法兰像。白马寺植有许多沙果、葡萄、石榴等，果实“甘殊味美，冠于京中”，当时皇帝也派人来采摘。但这些情景已然不再了，台上毗卢阁与周围建筑，自成格局，构成一小型庭院，院中一泓池水，莲花朵朵，数株古柏，蓊蓊郁郁，清爽宜人；从台下望去，整座庭院若在空中，清初释如秀曾撰联道：“台洒法雨柏翻风果有清凉气象，阁显山光吞月混是毗卢法身。”
清凉台被称为“空中庭院”，是白马寺的胜景。清康熙年间，寺内住持和尚如诱曾作诗赞美道：“香台宝阁碧玲珑，花雨长年绕梵宫，石磴高悬人罕到，时闻清磬落空蒙。”这个长43米，宽33米，高6米，由青砖镶砌的高台，具有古代东方建筑的鲜明特色。毗卢阁重檐歇山，飞翼挑角，蔚为壮观，配殿、僧房等附属建筑，布局整齐，自成院落。院中古柏苍苍，金桂沉静，环境清幽。相传原为汉明帝刘庄幼时避暑和读书的处所，后来改为天竺高僧下榻和译经之处。
白马寺中种有许多石榴树。白马寺的石榴汉魏时曾誉满京师。石榴原产于安息（今伊朗），在汉代同佛经、佛像一起传入中国，并最多在洛阳、长安落户。当时人们赞美石榴，把它作为中外人民交往的标志，石榴的身价倍增，白马寺的石榴，亦有“白马甜榴，一实值牛”的说法。
寺之东南二百米处，有一释舍利塔，初建于公元六十九年，现存塔重建于金大定十五年（公元一一七五年），风格与西安小雁塔相仿。 佛塔玲珑古雅、挺拔俊秀，这就是有名的齐云塔。齐云塔是一座四方形密檐式砖塔，13层，高35米。它造型别致，在古塔中独具特色，不可多得。齐云塔前身为白马寺的释迦如来舍利塔，现在的齐云塔为金大定十五年（1175）重建，为洛阳现存最早的古建筑。
佛殿东南角有一口明代铸铁钟，重二千五百公斤，明嘉靖三十四年（1555年）铸造，仍悬于殿内。上有铭文“钟声响彻梵王宫、下通地府震幽灵……”。“白马钟声”为洛阳八景之一，据说每当月白风清之夜、晨曦初露之时，和尚上殿念经，击罄撞钟伴诵，白马寺钟声悠扬数十里，城内东大街钟楼上的大钟也自能与之共鸣，反之，城内钟楼击钟，白马寺钟也自能共鸣。
中国第一座古刹是洛阳白马寺，中国第一座古塔是白马寺内的齐云塔，中原第一座比丘尼道场是白马寺内的齐云塔院，最早来华的印度僧人禅居于白马寺，最早传入的梵文佛经收藏于白马寺，他是中国最早的译经道场，中国的第一个汉人和尚在这里受戒，正是这些第一使得白马寺能够稳居中国伽蓝之首座，而永远彪炳于中国佛教史册之卷首。
时至今日,每年元旦,中外朋友都要聚集于白马寺来聆听“马寺钟声”,用108下钟声消除心中一切烦恼。