1940年1月，长子县独立营在屯留县境内编入八路军第一二九师第三八旅第七七二团，长子县境内除一些在十二月事变中隐蔽下来的少部区党政干部和武装干部外，暂无活动的地方武装力量。2月15日，太岳第一地委在驻地屯留县南宋村召集王艾文、王尚仁等人开会，任命王艾文为长子县委组织部长，王尚仁为宣传部长，任命熟悉长子情况的连忠堂为县委武装部长，到长子县重新开辟工作，恢复和建立党的各级组织和抗日政权、地方武装及群众抗日团体。地委领导高杨文就组织地方武装工作特别指出：长子县委要收集分散在民间的枪支弹药，把分散和隐蔽的原分区队员进行筛选后组织起来，并要对地方武装人员在加强政治教育的同时，进行军事训练，保证队伍政治坚定、战斗力过硬。新组成的县委人员潜入长子县后，决定由武装部长连忠堂重点负责枪支弹药，组建地方武装工作。
7月间，第二区分委书记常建功和区委委员李福兴将收集到本区的武器向西旺坡转送，在路经王郭村时与日军相遇而被抓进县城。县委通过组织和内线设法营救，常建功在身遭酷刑后释放，李福兴被日军在城西关能仁寺杀害。
1941年11月中旬，长子县委在收集到枪支70余支，子弹500余发后，根据地委指示，在太岳军区第一军分区和八路军第一二九师第三八六旅的帮助下，组建了长子县游击大队，大队下设3个中队。县抗日民主政府县长霍明兼任大队长，县委书记宋川兼任政委，蒋月富任副大队长，李义任教导员。有队员165名。
12月初，全县5个区也相继成立了区游击分队。各区区长兼任分队长，区分委书记兼任指导员。县、区地方武装组建后，县委及区委即以县游击大队、区游击分队的公开名义作掩护，领导对敌斗争及开展根据地建设工作。