太仓公园进门右手边，有一片寺庙遗址，即海宁寺遗址。这是在2003年太仓人民公园改造过程中发现的，内存大量石础、石柱、条石等，另有墙基遗址、石亭遗址等。石块上的雕刻还算精致，从柱础的大小也可略见庙宇的规模。海宁寺始建于宋建炎四年（公元1130年），元明时重修，清咸丰年间毁于大火。在太仓王锡爵故居碑刻展廊中还有海宁寺修造记碑。遗址清理仔细，保存很好，现已经成为公园内一处景点。海宁寺遗址的保护得利于所处位置，一些地处偏远、人迹罕至的小型建筑遗址就得不到这样的“待遇”，残砖断壁尽散落于荒草。
郑亶墓在遗址的东边，墓碑上写着“宋司农寺丞郑亶之墓”，坟丘居然是水泥筑的，为1993年所为。郑亶是北宋时人，在水利灌溉上有些建树。据称坟丘旁边的土墩才是原墓所在，但目前除此之外，已无任何当年之物。除海宁寺遗址和郑亶墓以外，太仓公园内还有其他一些古迹，仅作点缀之用。
赵孟頫书《重修海宁禅寺》记碑-元，现藏于太仓人民公园墨妙亭碑廊
王锡爵书《太仓州重建海宁寺记》碑-明，现藏于锡爵故居
海宁寺遗物，佛脚碑-年代不详，现藏于锡爵故居
