大青山地区岗峦起伏，村落稀疏，在辽阔的草原和崎岖的山地上，步兵行动十分困难。而日军和伪军不是机械化就是骑兵，行动比较迅速。1938年11月，党中央据此指示：大青山支队迅速将步兵改为骑兵，以适应斗争的需要。在具体执行党中央“化步为骑”指示中，李井泉、姚喆出色地完成了任务。他们一方面从消灭伪军、围歼顽匪中缴获了大批战马，另一方面向开明绅士和大地主募捐，很快解决了马匹问题，组建成一支精干的大青山骑兵支队，李井泉任司令员，姚喆任副司令员。

大青山地区土匪甚多，不但影响民生，也影响抗战；许多土匪最终成为汉奸。从1938年12月开始，李井泉决定剿灭匪患，到1939年2、3月间，初步肃清了当地的土匪，镇压了罪大恶极的汉奸，安定了社会秩序。

大青山地区居住着蒙古族、回族和汉族，是民族杂居之地，搞好民族关系对于团结抗战意义重大。李井泉深入蒙古包和回族居住之地，积极宣传党的民族政策，尊重少数民族的风俗习惯和宗教信仰，平等待人，以极大热情去做少数民族上层人物和各寺庙喇嘛的工作，把他们中绝大多数吸收到抗日民族统一战线中，积极同我党我军合作，实行全民族的共同抗战。

挺进大青山地区一年里，大青山支队共进行大小战斗百余次，粉碎了敌人15次大规模“扫荡”和围攻，消灭日军1000余人，缴获各种枪支500余支，成功地把敌人挤了出去，使人民军队在根据地站稳了脚，开辟了大青山抗日根据地，以铁的事实粉碎了日军不可战胜的神话。回忆往事，老战友褒奖他：“1938年秋，你率领八路军的一支部队，穿过日军的数道封锁线，突破敌人的阻截和包围，冒着冬季的严寒，横穿平绥线，深入大青山开展游击战。”“你为创建大青山根据地，建立了功勋，为抗日战争的胜利做出了重大贡献。”

担任抗大政委，有抗大第八期毕业生这样评价：“李政委关心爱护干部，很好地掌握了毛主席的干部政策！”

1940年1月，在大青山根据地形势相对稳定后，李井泉调回晋西北工作，担任新三五八旅（旅长是彭绍辉）兼晋西北军区第三军分区政委，参与领导了反击国民党顽固派阎锡山发动的“山西事变”战事。官方的《毛泽东传》有言，“中共中央军委把李井泉从大青山根据地调来，加强对这个地区的领导”。