北宋淳化元年(公元990年),当时的开化寺已经在公元895年(唐乾宁二年)和后晋开运二年(公元945年)两次重新整修了,并在这一年新建了二座高二丈释迦牟尼舍利塔。然而在元朝末年,受到战乱的影响全部被毁。 更令人觉得毛骨悚然的是,蒙山大佛的佛首居然凭空消失了,史书上没有任何的记载。后世的历史学家认为,蒙山大佛的佛首就是在这一时期消失的,但是原因和去向都不明。而失去了佛首和寺庙的蒙山大佛,就像一座荒弃的石山一般再无人问津。
尽管在明洪武十八年(公元1385年),晋恭王朱棡在此重新建造了开化寺,并更名为法华寺。但是失去了佛首的蒙山大佛却被消失在了历史中,渐渐被人遗忘。人们甚至不知道在这里曾经有过这样一座根据唐代史书记载高二百尺,换算合今63米的巨大佛像。一直到1983年,一位名叫王剑霓的市政工作人员,重新发现了蒙山大佛。王剑霓敏锐的发现,在太原蒙山一带有很多带寺字的地名,还有一处叫大肚崖的地方,他仔细的调查发现,大肚崖其实就是蒙山大佛的胸部。崖高15.75米。在大肚崖的附近还有很多的古寺遗迹。他查阅当地的秘史才总结出,所谓的“大肚崖”其实是一座巨大的佛像!2001年9月21日蒙山大佛被列入太原市第二批重点文物保护单位,五年后也就是在2006年国家决定重修首,这项工程最终在2008年竣工,同年10月7日这座被遗忘了600年的巨大佛像再次面向公众开放,只是当初那座消失的佛首究竟去了哪里,至今依旧是未解之谜。