山西是中华民族重要的发祥地之一。中国第一个王朝――夏，其地域就在晋南、豫西一带兴起。
周代，山西的国号为晋。春秋时期，国君晋文公为五霸之一。战国时期被韩、赵、魏三国瓜分，此后山西别称「三晋」。
秦代，秦始皇于山西设太原、上党、河东、雁北及代郡五郡。
南北朝时期，北曾以平城(今大同)为都，及后的东魏、北齐也曾以晋阳(今太原)为「别都」、「陪都」。
隋代，太原、长安、洛阳成为黄河流域上的三大城市。隋末，李渊、李世民父子由山西起兵夺取天下，建立唐朝，定都长安，并尊称太原为「北京」，纪念这块创朝立国之地。
辽、金代，大同又作为辽、金陪都达二百年之久。
元代，山西与山东、河北省共称元朝之「腹地」，大同、平阳(今临汾)、太原三城，则是黄河流域的蓍名都会。
明代，山西行中书省设于太原。清代，山西的商业发展进入黄金时期，「晋商」在全国的经济命脉中有着举足轻重的地位。
民国初年起，山西一度是军阀割据的「独立王国」。抗日战争时期，太行山、五台山等地成为八路军的战略根据地，山西因而再度扬名天下。
