1941年4月，新四军第五师成立，李先念任师长。9月，鄂东地方武装改编为五师第三纵队，何耀榜任纵队司令员兼政委。11月，新四军第五师组消各纵队番号，组建特务旅，罗厚福任旅长，何耀榜任政治委员。特务旅活动于陂安南地区，多次进攻日寇据点，给敌人以重创。一次，何耀榜带领一个排的战士，夜袭花桥日寇据点，毙敌10余名，缴枪10多支，摧毁了敌碉堡。1942年2月15日，何耀榜又率领特务旅配合十三旅在麻城乘马岗区还击顽军保一旅的进攻，俘其参谋长以下官兵200多人，缴枪150余支。敌伪顽从此不敢贸然侵犯陂安南抗日民主根据地。
1942年2月底，鄂豫边区党委调整了主力部队和地方武装，撤销特务旅，成立3个军分区，何耀榜任第一军分区(即鄂东军分区)副司令员。第一军分区下辖四十一团、四十二团和自卫第一团、第二团，以及罗礼经光、陂孝、安南、安麻、安礼、礼南县大队，共有兵力1800余人。一军分区管辖到豫东南地区，何耀榜兼任罗礼经光中心县委书记。在此阶段，他和军分区司令员一起，数次率部还击了顽军的反共磨擦，粉碎了日伪军的大规模“扫荡”。
1943年，为了对付国民党发动的第三次反共高潮，一军分区划分出豫东南地区，并在当年6月组建豫东南三路游击师，何耀榜任司令员，下辖5个团，约6000名战士，主要在罗礼经光地区坚持抗日游击战争。
抗日战争胜利后，何耀榜调任河南军区副司令员兼任第六军分区司令员。1946年1月，任豫东南军分区司令员。6月，任中原军区部队独二旅副旅长。
中原部队突围前夕，何耀榜突然接到中原局代理书记郑位三和中原军区司令员李先念的通知，要他马上赶到中原军区司令部。何耀榜一到司令部，李先念就说：“为了牵制敌人，决定把你留在大别山”。郑位三接着说：“中央要求留下部队坚持鄂豫皖地区的游击战争。你熟悉大别山的情况，你留下，具有更多的有利条件。今后的斗争就是异常艰苦，也要坚持下去，战斗到一人一枪也要坚持下去。”
何耀榜是大革命时期的老党员、土地革命时期鄂豫皖苏区著名的红军将领，鄂豫皖红军主力长征后，他和高敬亭率领皖鄂边的红二十八军及便衣队，完成了在鄂豫皖地区长达3年的艰苦卓绝的游击战争，让鲜艳的红旗高高地飘扬在大别山上。此时此刻，他深知任务的艰难和形势的险恶，但他以大局为重，把个人安危置之度外，坚定地回答说：“坚决服从命令，努力完成党交给我的任务”。
6月26日夜晚，中原部队主力开始向平汉铁路以西转移。6月29日，独二旅5000余人由宣化店向东突围，以策应主力部队向西突围。7月17日至20日，独二旅各团和旅部直属队在太湖西北的玉珠畈会合。这时，独二旅完成了牵制敌人的任务，中央又指示他们回头向西，重返大别山，继续坚持鄂豫边境的游击战争。独二旅西返途中遭到敌人重兵围追堵截，部队受到重大损失。到8月底，独二旅转移到黄梅县张家塝，旅党委在此召开会议，决定部队化整为零，分散坚持。旅长吴承忠、政委张体学、副旅长何耀榜各率一支部队，白天隐蔽于高山密林，夜晚继续行军作战，使大别山区的游击战争又蓬勃兴起。他们一部分在圻春、黄梅、广济、英山；一部分在黄冈、罗田、浠水、麻城；一部分在罗山、礼北、光山、经扶；一部分在礼南、孝感、黄陂、黄安等县，分别开展游击战争。10月，何耀榜同五团团长彭超，四团政委肖德明和副政委张岱松、六团一营副营长谭准彪一起转移到东大山，与刘名榜、肖前发、邱进敏会合。他们在宣化店东边刘家冲召开中共罗礼经光中心县委会议，刘名榜推选何耀榜任中心县委书记，何耀榜却认为自己只能任副书记。“两榜”相互谦让，最后是刘名榜任书记，何耀榜任副书记。在中心县委领导下的游击武装虽然不到100人，但对敌人的威胁很大。
中原部队突围后，国民党军队用烧光、杀光、抢光，打死、饿死、冻死，情报网、公路网、碉堡网的“三光”、“三死”、“三网”政策，残酷镇压革命人民。由于敌我力量悬殊，各地共产党组织遭到严重破坏，仅存的少数党员已转入地下隐蔽起来，勉强能够进行秘密活动的党组织寥寥无几。何耀榜秘密活动在东大山地区。他有时化装成农民，有时扮作风水先生，到各地去秘密联系中共地下党员，从下而上的重建各级党组织，并且组成了一些精干的便衣队，使罗礼经光地区的革命形势有了新的发展。
“夜半三更盼天明”，在黎明前最黑暗的时候，在艰苦卓绝的环境中，何耀榜和他的战友们一起住石洞、盖树叶、吃野菜，怀着必胜的革命信念坚持斗争。由于长时间住在石洞里，何耀榜的关节炎发作了，加之天寒地冻，脚趾被冻坏了，但他还是让警卫员扶着指挥作战，直至左腿因伤口化脓被截肢。战友们考虑到何耀榜的健康状况，曾劝他和部队一起转移到华北去。何耀榜没有接受这个意见。他说：“党中央和中原局决定留下独二旅在大别山打游击，是为了保持鄂豫皖苏区的红旗不倒。我们一走，就是放弃大别山这个通向武汉的桥头堡。自黄麻暴动起，鲜艳的革命红旗一直在鄂皖地区飘扬。这面红旗不能在我们的阵地上倒下，就是付出最大的牺牲，战斗到一人一枪也要坚持下去，直到最后胜利。”正是凭着这样的信念，何耀榜和他的战友们浴血奋战，使大别山红旗永远不到，最终迎来刘邓大军的到来和全国革命的胜利。