秦朝统一，地方实行郡县制，全国分为三十六郡，临沂地域分属琅琊郡和郯郡。
西汉时，郡国并行。临沂地域分属徐州之琅琊国、东海郡、城阳国和兖州之泰山郡。
东汉，分属徐州之利城郡、东海郡、琅琊郡、琅琊国和兖州之泰山郡、东莞郡、东安郡和城阳国。
三国时期，属魏国。分属东海国、琅琊国、东莞郡、泰山郡。
西晋时期，分属徐州之琅琊国、东海郡、兰陵郡、东莞郡、兖州之泰山郡。
晋室南渡后，地域先后属于后赵、东晋、前燕、后燕、南燕、前秦和北魏。
隋朝分属沂州（琅琊郡）、泗州（下邳郡）、密州（高密郡）、海州（东海郡）、徐州（彭城郡）。
唐朝分属沂州（琅琊郡）、密州（高密郡）、徐州（彭城郡）。
宋朝分属沂州（琅琊郡）、密州（高密郡）、淮郡军等。
宋室南渡后，分属于金朝山东东路的沂州、莒州、邳州、泰安州。
元朝，属中书省山东东西道宣慰司益都路。
明朝，分属山东布政司兖州府和青州府。
清朝初，属沂州府。有兰山、郯城、费县、沂水、蒙阴、日照、莒州6县1州。
1949年10月1日，临沂分属沂蒙专区、尼山专区、台枣专区、滨海专区。
中华人民共和国成立后，对行政区划进行调整。
1950年5月，以沂蒙专区为基础，成立沂水专区，辖9县。以滨海专区为基础，成立临沂专区，辖9县。
1961年4月，临沂专区辖临沂市、郯城、苍山、临沭、莒南、沂南、沂水、沂源、蒙阴、平邑、费县、日照、莒县1市12县。
1994年12月，撤销临沂地区和县级临沂市，设立地级临沂市。
