汉王六年十一月，置山桑县（治今安徽蒙城县檀城镇山下）。属沛郡（治相，今淮北市相山区）。
王莽篡政，改沛郡为吾符郡，山桑县属之。
东汉初，山桑县属汝南郡（治平舆，今临泉县西古城子）。建武二年（２6年)夏，改山桑县为横野大将军王常侯国（仍都今檀城镇）。三十年，山桑侯国除（历２世，因子王广徙封石城侯）为县。
延康元年（２２0年)十月，曹魏代汉，山桑县属沛郡（治相故城）。曹魏景初二年（２３8年)，山桑县改属汝阴郡（治汝阴，今阜阳市区）。嘉平五年（２５3年)，山桑县改属谯郡（治谯，今亳州市区）。
西晋永嘉五年（３１1年)，入后赵，山桑县属沛郡。东晋初年，祖逖北伐，收复山桑县。永昌元年（３２2年)，复入后赵谯郡。咸和八年（３３3年)，山桑县入东晋，旋入后赵、前秦。永和九年（３５3年)，东晋五州都督殷浩伐前秦，收复山桑，旋因姚襄反叛，复入前秦。光寿元年（３５7年)，入前燕。建熙十年（３６9年)，回属东晋。七月，入前秦。太元八年底，回归东晋。后曾短时间属后秦（３８４～４１７年）谯郡。义熙十二年（４１6年)八月后，山桑县属东晋谯郡。
刘宋永初三年（４２2年)，北魏攻占山桑县（仍治今檀城镇）。元嘉八年（４３1年)，收复山桑县。宋山桑县属谯郡。泰始二年（４６6年)，失淮北，废山桑县。
南朝宋名将檀道济“以沙代粮退敌兵”的史事就发生在这里。
