1934年11月16日红二十五军进行战略转移后，盘踞在鄂豫皖边区的国民党军除调18个团尾追外，仍以56个团正规军、10多个保安团和大批民团共10万人继续对鄂豫皖革命根据地进行“清剿”。11月底，鄂东北道委组建鄂东北独立团和特务营。各县区也分别组建便衣队，采取“时而分散游击，时而化装袭击，时而夜摸敌巢”，“打得赢就打，打不赢就走”的飘忽不定的游击战术，机动灵活地寻机歼敌。

1935年1月8日，蒋介石下令：务于三个月内将鄂东北红军主力“剿灭”。敌人吸取历次作战失利的教训，采取构筑碉堡、并村移民、毁林烧山、“户籍连坐”及“篦梳战术”，采取“围剿”、“堵剿”、“追剿”、“驻剿”和“搜剿”相结合的方法，进行大规模“清剿”。他们将孝感北部小悟山周围的群众，赶出10公里以外的地方围寨筑碉，严格控制，以断绝群众与便衣队的联系；将小悟山周围的黄草山、凤凰山、双峰山方圆数十里山林砍光烧尽，试图将便衣队烧死或赶出来围歼；以10户为连坐单位，互相监督，连续担保，“一户出事，数户受诛”；派暗探，监视、跟踪为便衣队送粮送物的群众，捕杀便衣队员；严密封锁一切通道，在关隘设卡，严禁生活必需品粮、油、盐进山，以断绝便衣队生路。

尽管如此，苏区反“清剿”斗争没有停止。1935年1月19日，鄂东北红军独立团奔袭礼山县二郎店，歼灭反动民团1个中队，获枪100余支，随后袭击礼山县毛家集、新屋畈、姚家山等地驻敌，给敌以重创，缴获大批武器和物资。1月29日，中共罗陂孝特委以群众为内应，集合黄安、罗山、经扶3县便衣队和道委特务营，冒雪夜行20公里，奔袭香炉寺，全歼反动民团40余人，缴枪50支，活捉团长陈治忠。各地方革命武装还相互配合，炸公路桥梁，割电线，毁汽车，破坏敌人交通和通讯联络。红二十八军采取机动灵活的战略战术，寻机攻袭，短期内累计歼敌正规军近1000人。中共鄂东北道委还派何耀榜和中共罗山县委书记张家胜化装到宣化店巧施反间计，争取保甲长，从监狱中解救出200多名被关押的群众。

1936年2月，国民党军再度调整兵力，发动“五个月清剿”。高敬亭在率领红二十八军挫败国民党军前三次“清剿”后，产生轻敌麻痹思想，没有将主要精力放在如何对付敌人发动新的“清剿”上，而是在革命队伍中开展错误的“肃反”斗争，造成人心不稳。当敌人从四面八方围攻时，红二十八军行动迟缓，延误转移时机，被敌人各个击破，主力损失达600人，便衣队也损失20%。孝感各级党政军组织均遭破坏，北部仅存大小悟山一小块根据地。在敌人严密封锁、山上断粮的艰难情况下，孝感便衣队员坚强不屈，忍冻挨饿，宁愿吃树皮、草根、观音土，也不向敌人低头。他们高举革命红旗，同国民党反动派展开殊死搏斗。至今在孝感青山口一带仍流传当年便衣队员之歌：“大悟山高，小悟山长。山岩石洞是我床，树皮野菜是我粮。任你敌人多猖狂，红旗不倒志如钢。三天不吃饭，照样打胜仗”。中共鄂东北道委领导游击师和便衣队各自为战，红二十八军在人民群众大力支持和掩护下顽强作战，终于渡过难关，将游击战坚持到底。

1937年7月，卢沟桥事变爆发。根据中共中央关于建立抗日民族统一战线的指示，红二十八军以何耀榜为正式代表，与国民党进行谈判，几经反复，终于达成“停止内战、共同抗日”的协议。随后，红二十八军和地方武装及便衣队改编为新四军第四支队，奔赴抗日前线。