1938年8月，晋绥边区形成。是年9月，贺龙、关向应率领八路军第一二○师挺进晋西北开闢抗日根据地，同时派出大批干部深入敌占区，协同山西省牺盟会等开展抗日武装斗争。年底，他们开闢了以管涔山为中心、包括十余县範围的晋西北抗日根据地，今年2月，日寇乘第一二○师奔赴同蒲路作战之机，调集万亲人兵力向晋西北进攻。第一二○师奉命回师，与敌激战二十余天，收复了7个县城，巩固了晋西北抗日根据地。8月，第一二○师第三五八旅政治委员李井泉率2000余人，同杨植霖领导的抗日游击队会师，在绥中、绥西、绥南、察哈尔等地开展游击战争，于年底开闢了大青山抗日根据地。晋西北抗日根据地与大青山抗日根据地统一为晋绥边区。

1940年1月5日，晋绥边区抗日民主政权----晋西北行政公署（后改为晋绥边区行政公署）在兴县蔡家崖成立。由续範亭同志任行署主任。1940年8月，大青山地区抗日政权-----晋绥边区行政公署驻绥远办事处（后改为绥察行政公署）成立，下辖绥西，绥南，绥中三个专员公署和绥东游击区。

为进一步加强边区的武装建设和对敌斗争，1940年10月6日，成立了晋西北军区司令部（后改为晋绥军区司令部）。贺龙同志任司令员，续範亭任副司令员，关向应同志任政委。周士第任参谋长，甘泗淇同志任政治部主任。军区下设二，三，四，八四个军分区。军事区划与行政区划完全统一。

晋绥抗日民主政权和军区的成立，表明了晋绥抗日根据地越战越强，它已经成为一座铜墙铁壁，巍然屹立在陕甘宁边区的前卫阵地。对此，敌人决不肯善罢甘休。1940年敌寇发动了三次大规模扫蕩。12月，敌寇纠集了二万多兵力，分十八路对晋绥根据地发动空前残酷的冬季大“扫蕩”．敌寇所到之处,烧光.杀光.抢光.贺龙同志以大无畏的精神,领导全区军民展开了艰苦卓绝的反扫蕩战斗.经过35天战斗,作战200多次,粉碎了敌人的冬季扫蕩。