山西是人类和华夏文明发祥的最早起源地和中心区域之一。考古表明，远古时代，山西南部是人类初曙的起源地。运城垣曲县“世纪曙猿”化石的发现，把类人猿出现的时间向前推进了1000万年。考古还表明：最早约在180万年以前的旧石器时代早期，原始人群就在山西晋南地区繁衍生息，其中运城芮城县西侯度文化遗址发现的火烧骨，把我国范围内发现的人类用火历史向前推进了100万年；约在10～2万年以前的旧石器时代中期，在山西汾河两岸和大同、朔州一带，已经出现了比较集中的原始人群和村落。进入新石器时代，约在7000年前的新石器时代中期，山西南部的农业、畜牧业和手工业已达到相当发达的水平；约在4500年前左右的新石器时代晚期，山西南部已经成为当时诸多邦国的中心。史传“尧都平阳（今临汾尧都区），舜都蒲坂（今运城永济市西南），禹都安邑（今运城夏县西北）”，记载的是新石器时代晚期中华民族最早的英雄们在汾河下游创业建都的历史。今临汾市尧都区南部有尧庙、东部有尧陵，运城市盐湖区北中部有舜帝陵庙。《禹贡》载夏禹治水“导河积石，至于龙门”，龙门又叫禹门口，在今山西河津市西北和陕西韩城市东北一带。近年来，对临汾襄汾县陶寺遗址新的发现和研究成果表明，这里是帝尧都城所在地，也是最早的中国所在区域。这使大致在距今4500年前后我国史前传说的尧舜禹时代由传说成为信史，中华5000年文明史由此得到证实。
约公元前2070年，禹去世后，其子启继位，建立了中国历史上第一个世袭的氏族奴隶制的夏王朝。它的建立标志着中国古代原始公社的解体和奴隶社会的开始，开启了中华文明发展的新纪元。夏朝早期的统治中心在今山西晋南夏县一带，后随着地域扩大，统治中心才转入河南豫西一带。今夏县东下冯遗址是重要的夏墟。
商朝时，山西南部在其“邦畿千里”之内，其余地方则散布着十几个方国部落。今运城垣曲县古城南关和夏县东下冯等地发现有商代前期完整城址，以及运城平陆县和长治长子县等地出土的商代早期青铜重器，表明这里是商王朝的经略要地。
西周初期大规模分封诸侯，山西中南部为十余个诸侯的领地，其中主要诸侯国是晋国。春秋时期，晋国发展强大，逐步兼并了周边小国，成为春秋五霸之一。晋国极盛时期的疆域，大约包括今山西中南部、河北西南部、河南西北部和陕西东部，设置有50余县，其中山西境内有10余县。晋国前期国都在翼(今临汾翼城县东南),后期迁都于新田(今临汾侯马市)。晋国是郡县制的起源地，后来秦将这种制度推广向全国。在今临汾曲沃县建有晋国博物馆，陈展着考古发掘的晋国“曲村——天马遗址”的文化历史；在今临汾侯马市建有晋国古都博物馆，陈展着晋都新田考古发掘的文物及其文化历史。
公元前453年，晋国卿族赵、魏、韩三家三分晋国，史称“三家分晋”。赵、魏、韩三分晋国，成为实际上的三家诸侯国。在山西，赵国辖中部、东北部、东南部少部，魏国辖西南部、东南部少部，韩国辖东南大部和西南少部。起初，赵国的都城在晋阳(今太原晋源区东北)，韩国的都城在平阳(今临汾尧都区)，魏国的都城在安邑(今运城夏县北)，后来随着疆域的扩大移向河南、河北。公元前403年，东周天子正式承认赵、魏、韩三家为诸侯，中国历史由此开始进入封建社会的战国时期。齐、楚、燕、韩、赵、魏、秦为战国七雄，山西分属赵、魏、韩三国领地。
公元前221年，秦统一六国后，定都咸阳（今陕西咸阳东北），建立了中央集权制度，地方实行郡县制，把全国划分为36郡，后又不断增设到40余郡。今山西及周边河北、内蒙一带为河东、太原、上党、雁门、代、云中6郡分辖，其中代、云中2郡治所不在山西，山西境内置有70余县。汉代时基本沿袭秦代郡县制，地方实行州郡县制。西汉（都长安，今陕西西安西北）版图极盛时，全国划分为13州。今山西及周边陕西、河北、内蒙一带为并州、幽州、司隶州（京畿长安范围）3州领属，并归太原、上党、雁门、西河、代、河东6郡分辖，其中西河、代2郡治所不在山西，山西境内置有90余县。东汉（都洛阳，今河南洛阳东）地方建制基本沿袭西汉。西汉末东汉时期，北方少数民族匈奴、羌、鲜卑逐步内迁进入山西，并发展强盛起来。到东汉中期，山西北部、中部、西部成为多民族聚居地区。
魏晋南北朝初期的三国时期，今山西全境属魏国（都洛阳，今河南洛阳东），境内匈奴人散居分布在并州兹氏(今吕梁汾阳市)、祁(今晋中祁县)、蒲子(今临汾隰县)、新兴(今忻州忻府区)、大陵(今吕梁文水县)等地。此外，在山西境内今长治武乡县还居住着羯族，今忻州代县和大同还居住着鲜卑族拓跋部。山西境内的三个少数民族与居住在陕、甘一带的氐、羌族，史称“五胡”。西晋（都洛阳，今河南洛阳东）末年，公元 304年匈奴酋长刘渊起兵左国城（今吕梁离石区）建国“汉”，不久迁都平阳(今临汾尧都区)，建立北方第一个少数民族政权。随后其子刘聪打下长安（今陕西西安西北）灭西晋，由此开始中国历史上一百多年的“五胡十六国”割据一方的局面。“十六国”，包括前凉、后凉、南凉、西凉、北凉、前赵、后赵、前秦、后秦、西秦、前燕、后燕、南燕、北燕、夏国、成汉等。在此期间，山西境域为刘渊族侄刘曜创建的前赵（先都平阳、今临汾尧都区，后迁都长安、今陕西西安西北）、羯族首领石勒创建的后赵（先都襄国、今河北邢台，后迁邺、今河北临漳西南）、鲜卑族首领慕容皝创建的前燕（先都龙城、今辽宁朝阳，后迁都蓟、今北京城西南，后再迁邺、今河北临漳县西）、氐族首领苻洪创建的前秦（都长安，今陕西西安西北）、氐族贵族姚苌创建的后秦（都长安，今西安西北)、鲜卑族首领慕容泓创建的西燕（先都长安、今陕西西安西北，后迁都长子、今山西长治长子西）、鲜卑族首领慕容垂创建的后燕（先都中山、今河北定州，后迁都龙城、今辽宁朝阳）、匈奴部族首领赫连勃勃建立的夏国（都统万城，今陕西靖边县东北）、鲜卑族首领拓跋珪创建的北魏（先都盛乐、今内蒙古和林格尔北，后迁都平成、今大同市）等国的领地。公元439年，北魏统一黄河流域，结束了北方四分五裂的局面。公元494年，北魏孝文帝把都城由平城迁到洛阳（今河南洛阳东）。公元534年，北魏分裂为东魏（都邺，今河北临漳县西）、西魏（都长安，今陕西西安西北），山西绝大部分为东魏领地，南部余部为西魏领地。后来，北齐取代了东魏，北周取代了西魏。公元577年北周灭北齐，山西统一为北周领地。从刘渊起兵一直到北周灭北齐的270多年间，山西境内平阳（今临汾尧都区）、平城（今大同市）、晋阳（今太原市晋源区东北）都是全国很重要的政治军事中心。其中，平阳为“汉”国、前赵的都城，平城为北魏的都城，晋阳为东魏和北齐的“别都”“陪都”。
隋朝建立和统一全国后，起初在地方取消了郡一级建制，在要冲诸州设总管府，以州刺史兼总管，统领邻近数州。山西境内并、代、隰、朔4州设总管府。后来隋又改州为郡，地方实行郡县两级制，最多时全国置190郡。山西及周边河北、内蒙一带为太原、定襄、马邑、雁门、娄烦、西河、离石、上党、长平、临汾、龙泉、文城、河东、正平14郡分辖，其中14郡治所均在山西，山西境内置有90余县。隋代，曾于北魏时期兴起于蒙古高原的突厥汗国其疆域已抵今山西与内蒙交界地带，并数次入侵山西雁门关以北地区。
