《史记·秦始皇本纪》载：“始皇二十八年(前219年)东行郡县，上邹绎山，与鲁诸儒生议刻石、颂秦德、议封禅，望祭山川之事”。原秦峄山篆碑，立于峄山书门。
唐《封演闻见记》云：此碑后被北魏太武帝登峄山时推倒。但因李斯小篆盛名遐迩，碑虽倒，慕名前来摹拓的文人墨客、达官显贵仍络绎不绝。当地官民因常疲于奔命送往迎来，便聚薪碑下，将其焚毁，从此不可摹拓。
宋代淳化四年(993年)郑文宝以南唐徐铉摹本重刻于长安(今存西安碑林)，称长安本，其后全国据此翻刻9种之多。今存元至元二十九年(1292年)篆刻《峄山刻石》、《邹县志·古迹卷》记载甚详：“宋元祐八年(1093年)，邹令张文仲于北海王君向获李斯小篆，刻诸厅峄阴堂，迨至元二十九年(1292年)县令宋德，乃夏津人也，叹是碑残缺，恐致泯绝，乃命工砻石纂刻于其侧。”
