最早有文字记载济南的历史，是商代。
商代帝乙、帝辛“纣克东夷”东征甲骨文卜辞中，就有“泺”的记载，“泺”即趵突泉的古称。
周代春秋战国时期，济南为泺邑，后称历下邑，属于齐国。
秦代实行郡县制，置济北郡，郡治博阳(今泰安岱岳区旧县村)。领博阳、嬴（今莱芜）、卢（今长清南）、谷城（今平阴县东阿镇）、漯阴（今临邑县南）、著（今临邑县东南）、平原（今平原县南）、鬲（今德州南）八县 。包含了今济南市大部分辖域。
西汉高帝六年(公元前201年)，以济北郡南部析置博阳郡，后博阳郡徙治东平陵县，因地处济水之南，改名济南郡。此为济南地名之始。成帝时期济南郡领十四县：东平陵县、邹县 、平台县 、梁邹县、 土鼓县 、于陵县（都尉治）、 阳丘县、 般阳县、 菅县 、朝阳（侯国）、 历城县、 猇（侯国）、 著县、 宜成（侯国）。
王莽篡汉时济南郡改名乐安郡，王莽新朝灭亡，恢复原名。
东汉文帝十六年，置济南国，封刘辟光为济南王。景帝三年，济南王参与七国之乱被诛杀，济南国废除，恢复济南郡。
西晋永嘉年间，济南郡郡治由平陵城移治历城县。此为历城(即今济南市区)作为济南治所之始。
南北朝刘宋时期，元嘉九年(432年)，侨置冀州于历城。宋明帝泰始四年（468年），魏将慕容白曜攻占历城，济南入北魏。北魏置齐州，辖济南郡、广川郡、东平原郡、东清河郡、太原郡、东魏郡。齐州和济南郡的治所均在历城。此时的州为一级政区，相当于今天的省级。此为济南作为省级治所之始。
隋代开皇三年（583年）废济南郡。大业三年（607年），改齐州为齐郡。
唐初复置齐州。天宝元年（742年）改齐州为临淄郡，郡治仍为历城。领历城、山茌、禹城、临邑、祝阿、 临济、全节、亭山、章丘等县。天宝五年又改为济南郡。乾元元年（758年），复为齐州。唐代的州不再辖郡，相当于今地级市。
北宋齐州隶属京东东路，政和六年(1116年)，齐州升为济南府。辖历城、禹城、长清、章丘、临邑五县。此为八百多年济南府之始。宋朝的府地位高于州，相当于今副省级城市。济南也为京东东路第一个府，京东东路治所青州北宋时期尚未升府。
金代济南府隶属于山东东路，领历城、长清、齐河、临邑、禹城、章丘、济阳七县。
元代为济南路，隶属中书省。领历城、章丘、济阳、邹平四县和棣州、滨州二州。
明代为济南府，隶属于山东行省。洪武九年(1376年)，省治由青州迁治济南府。此为济南作为山东省会之始。明代济南府领历城、章丘、邹平、淄川、长山、新城、齐河、齐东、济阳、禹城、临邑、长清、肥城、青城、陵县15个直属县和泰安州、德州、滨州、武定州四个州及州辖的11个县，共26个县。
清代济南府析出泰安州、滨州、武定州，德州降为散州。至清末，济南府辖一州十五县。即德州、历城、章丘、邹平、淄川、长山、新城、齐河、齐东、济阳、禹城、临邑、长清、陵县、德平、平原。
民国时期撤销州府，1913年置岱北道，1914年改济南道。辖27个县，1928年废置。
1929年7月，析历城县城、城外商埠及四郊置济南市，由省直辖。1947年11月，历城县迁往城外王舍人庄。
1948年9月，济南解放，成立济南特别市。1949年5月改称济南市。济南市市区设置第一至第十一区。1955年至1956年，经过调整，设历下区、市中区、槐荫区、天桥区和郊区。
1958年12月，泰安专区撤销，泰安市及历城、莱芜、章丘、新泰、宁阳、长清六县划归济南市。济南市郊区并入历城县，历城县机关迁至洪家楼。1959年7月肥城县划归济南市。1959年9月长清县撤销，辖区分别并入历城、平阴、肥城，平阴县划归济南市。1959年12月，撤销市中区，辖区分别并入槐荫区和历下区。设立市东区，以历下区以东、郭店以西为其行政区域。1961年5月，撤销市东区，恢复市中区。1961年7月，恢复泰安专区，恢复长清县。除历城县留济南，其他各县复归泰安专区。
1978年5月，重设济南市郊区。1978年12月，章丘县、长清县划归济南市。1985年3月，平阴县划归济南市。1987年5月，撤销历城县和郊区，设立历城区。1989年12月，济阳县、商河县划归济南市。1992年章丘撤县设市。
2001年长清撤县设区，2016年章丘撤市设区，2018年济阳撤县设区。
2019年1月，莱芜市撤销，设济南市莱芜区、济南市钢城区。至此，济南市形成十区二县格局。
