相传岩下有藏虎山洞，故称「虎洞」，洞下流泉汇成小溪，故称「虎溪」。以庐山东林寺有「虎溪三笑」故事，故亦名此寺为「东林寺」。山上林木蓊郁，怪石嶙峋，鸣泉清澈，岩壑幽深。其中洞口朝东的棱层洞，最先看到月光照在洞内罗汉和土虎之上，形态逼真，景色清幽，故有「虎溪夜月」之称，列为厦门大八景之一。

据《厦门志》记载：明万历四十五年（一六一五年年），有名士池显方「寻幽到此，心赏奇观，因建刹，名玉屏（寺）。」当时建有大雄阁、棱层洞、石室、夹天径、六通洞、宛在洞以及山腰的啸风亭等，寺建成后，池显方即迎僧住持，整日与僧人学禅论道。

虎溪岩顶有「棱层」、「摩天」的摩崖石刻，字径数尺。岩壁上有明何乔远、池显方及清黄日纪等名士题咏石刻。一线天附近还有明末抗击荷兰殖民者的记事题刻二十一字：「天启癸亥年十一月廿日广陵朱一冯以督师巢夷至。」虎溪岩寺四周，山石如神工削成，石壁诗刻有「怪石环岩皆鬼斧」之句。

明末清初，玉屏寺毁于兵燹。清康熙四十年（1700年），福建水师提督吴英捐资重修，并迎聘黄蘖宗高僧元飞和尚主持营建。先后重建大雄殿、垂云楼、啸风亭、虎渡桥以及山门围墙、登山石径等。建成后，即改玉屏寺为虎溪岩，此后，虎溪岩即为南禅临济派黄檗宗有厦门的祖堂，自元飞和尚为开山祖师以来，法脉相承，传至1985年年重兴虎溪岩寺的星洲华籍宏船法师，为十二代法裔。

据文献记载，虎溪岩重建后曾先后六次举行传戒大法会。清雍正九年（1713年），元飞和尚应厦门提督兰廷珍之请启建三坛传戒大法会，兰廷珍夫妇同时皈依元飞和尚。清乾隆五年（1740年），再次应请举行，各地前来受戒的四众弟子多达数百人，极一时之盛。此后，其弟子瑞峰也于乾隆九年（1744年）、十二年（1747年）、十四年（1749年）前后举行过三次传戒弘法大法会。乾隆四十九年（1784年），海蜃寺开山祖佛敏和尚也应地方官绅之请，在虎溪岩开坛传成。

宣统元年（1909年），虎溪岩主持善温和尚将虎溪岩交给他的门徒会泉和尚主持。会泉是当代一位杰出的高僧，在厦门与转逢、太虚等名师，积极倡导开展佛化教育活动，并募资重修寺宇，并扩建印月楼等僧舍楼房。1932年即在虎溪岩创办「虎溪莲社」和「楞严学会」，同时并扩建印月楼和僧舍楼房。1937年，抗日战争爆发，印月楼被日机炸毁。会泉和尚和弘一法师移位万石岩，在石岩洞居室，自题「殉教室」，以示爱国殉教的宏愿。1938年六月，厦门沦陷，会泉避居鼓浪屿，辗转至新加坡弘法；虎溪岩由其徒孙开慧、开教主持。

1949年后，寺务由僧宏辉住持。1958年虎溪为部队借驻。1966年爆发「文化大革命」，虎溪岩寺设施被毁坏殆尽。

二十世纪八十年代初落实宗教政策，部队撤离，由厦门佛教协会接管。1985年，会泉法师高徒新加坡华僧宏船法师从海外募集巨资，重建寺宇。先后新修扩建大雄殿、弥勒殿、垂云楼、印月楼、功德堂、啸风亭、虎渡桥、棱层洞以及山门、围墙、登山公路等，规模宏伟、庄严。并由其徒开正法师主持。

2005年礼请圣辉和尚晋山升座，广被道风，肃整寺规，使祖道重光。启建水陆、华严等法会，冥阳两利；新建五方佛殿、孔雀明王殿、卧佛殿、观音殿、报恩堂、阿兰若、僧舍等，巍峨栏宇；创虎溪慈善基金，兴慈运悲，化被十方，得未曾有。2012年至今，本派第十四代方丈净心法师继任法席。