据清道光滕县古蹟志载，“龙山东有甘露寺，元二十年灵岩禅师建。”

甘露寺地处龙山主峰东，层岩秀石，峰豁万千，风景秀美。相传元朝初年，有一僧，云游至龙山。因爱山水之秀美，寓居此山。欲在此建庙奉佛。为了找水源，遍游龙山。饥餐渴饮，随遇而眠，备尝艰辛。正为找不到水源而烦恼发愁时，忽一夜有山灵指点：“你卧下就是甘泉。”晨起，僧以锡杖凿之数尺，果见甘泉涌出。捧之饮，甘洌沁心脾。僧欣喜若狂，遂云游四方化缘募捐，决心在龙山建庙奉佛。并宣传泉之灵应，饮可治病，祈祷可求雨。一时间，信奉者甚多。县令闻之亲往视察，见所言甚灵，对待僧人十分尊敬，以师礼相待。县令赐僧法号曰：“灵岩禅师。”赐其泉名曰：“甘露泉。”并协助灵岩禅师化缘募捐。

灵岩禅师经十余年跋山涉水。四处募捐化缘，历尽艰辛。于元二十年庙宇建成。殿阁巍峨宏伟，飞檐斗拱。在甘露泉上建石亭，泉居其中。亭柱雕镌巨龙盘绕，像出没水中。聚僧众百余人，庙田五十顷，县令赐庙号曰：“甘露寺。”自此名传四方，香火不断。