百团大战的第一阶段结束后，1940年9月16日，八路军总部下达了百团大战第二阶段，要求各部及时扩大战果，夺下深入根据地的县城。129师的任务是收复榆社辽县，破坏榆辽公路和白晋公路，阻止日军分割太行山根据地。攻击榆社县城的任务交给了陈赓386旅和决死1纵队两个团。
陈赓大将
9月21日，陈赓参加完百团大战第一阶段总结大会，立即返回旅部宣布作战命令，他和旅参谋长周希汉进行了仔细的研究，周希汉也亲自带着两个团长到榆社附近化装侦查，把县城外围的情况搞得明明白白。榆社是日军深入太行根据地最前沿的据点，城内驻有日军独立混成第4旅团一个加强中队200多人，外加伪军几十人，构筑有坚固的工事，并囤积有大量的粮食弹药。周希汉决定主攻西门，这里地势相对比较平缓。战略部署是：772团一个营配山炮一门攻击城西南角，16团一个营攻击城西北角，另外2个营在北门佯攻，772团两个连在东门牵制敌人，另一个连在敌军可能撤退的方向设伏，其他部队作为预备队。
开国中将周希汉
23号23时，周希汉下令攻击开始，八路军打算趁夜偷袭县城，但因为狗叫声惊动了守敌，奇袭变成了强攻。进攻城西南的772团很快越过了日军的铁丝网，但遭到城墙上敌军猛烈的火力射击，城西北的16团也在攻占城外的几栋房屋后与城墙上的日军形成对峙。周希汉下令部队就地构筑工事，防止敌人反攻。很快就对峙到了天亮，周希汉召集各干部开会研究如何攻坚。
这时，陈赓也来到了榆社前线，他和周希汉亲自带着干部战士们走上火线观察日军的工事和碉堡。很快战士们就想到了好办法，他们把日军的火力点和碉堡射孔编上号，并作出具体的分工，比如一班的机枪和特等射手负责打哪几个射孔，二班负责压制哪几个火力点，并且为了提高精度，机枪和特等射手都前进到离日军攻势非常近的地方。同时，炮兵也将山炮移动到距离城西门50米的楼上，把曲射改成直射，直接瞄准城门上的火力点打。同时，陈赓亲自规定了战场纪律，如果某个射孔打出子弹，由压制他的射手负责，如果压制住了日军的火力，负责冲锋的战士没有及时攻击，则算临阵脱逃。
下午四点半，第二次攻击开始，随着一声令下，早就已经准备好的战士们立即向他们负责的射孔开火，无数的子弹像长了眼睛一般的射向日军，头露出来就打头，手伸出来就打手，日军的火力很快被压制住，战士们发起冲锋，迅速拿下了不少碉堡。但是，这个时候日军又开始释放大量毒气，同时出动4架飞机对八路军进行攻击扫射，但战士们不顾轰炸和毒气，继续勇敢的冲击，终于攻占了城西关，日军被压缩进城内，考虑到伤亡较大，周希汉和陈赓下令停止攻击，巩固阵地。
此时，残余的日军已经龟缩进城内以榆社中学为核心的8个碉堡群继续负隅顽抗，这八个碉堡构成了交叉火力外，且四周都贴着高达10米至30米的人工峭壁，陈赓和周希汉观察情况后，决定攀爬上峭壁再从上面围攻。
第三次强攻开始，战士们用猛烈的火力压制住了日军的碉堡，随后，战士们用铡刀砍掉了日军铁丝网，迅速架起云梯攀上峭壁，用大量手榴弹让日军吃了一波流星雨，很快就把碉堡全部攻占，日军退缩进最后的榆社中学据点，这里有一个巨大的碉堡和围墙，并且再次释放大量毒气，整个县城都笼罩在毒雾之中，由于八路军指挥所处在下风向，甚至陈赓和772团3营的指战员们全部都中了毒，为了保护干部战士们，周希汉再次下令停止攻击，并请求陈赓去后方疗伤，但陈赓坚决要求要等打下了榆社才撤退。干部战士们继续讨论攻击方案，772团团长建议采取坑道作业，从地下挖过去，挖到敌人工事核心处，再用炸药爆破，这个方案得到大家的认同。
坑道从城西北角开始挖，一直挖到榆社中学据点底下，经过战士们紧张艰苦的作业，到25日下午4时45分，坑道作业完成，随后，战士们将棺材装满炸药塞到日军据点底下，只听见轰的一声，震天动地，日军最后的据点瞬间炸塌，让日军好好体验了一波土飞机。随后16团团长谢家庆命令重机枪压制碉堡被炸开的缺口，自己亲自率领2营发起冲锋，772团也从两个方向发起攻击，与残存的日军展开白刃战，经过激战将这批日军大部歼灭，并俘虏十余人，日军中队长藤本在战斗中自杀，八路军攻占了整个县城。这场攻坚战八路军共歼敌300多人，并且缴获颇多，缴获山炮3门，平射炮4门，迫击炮5门，掷弹筒20个，轻重机枪10挺，步枪200多支，还有可供半年使用的粮草弹药，城内群众主动帮忙搬运物资，几千人搬了一夜都搬完。
与此同时，陈锡联的385旅769团也在狼牙山。对从日军辽县出动的援军进行了打击。随后又集中兵力攻击石匣、管头据点，趁着黄昏发起进攻，战士们将大量的手榴弹投向日军碉堡，炸的日军鬼哭狼嚎，经过一个晚上的战斗攻占石匣，随后又围困管头据点，等据点里的粮食和水源耗尽后，日军被迫突围，结果刚好中了八路军的埋伏和地雷阵，被消灭大部，管头据点也被占领。随后，战士们继续发起破袭，将日军修筑一年多的榆辽公路全部摧毁，沿线的据点全部拔除。
惨烈的榆社攻坚战，最终八路军取得了胜利。也就在386旅攻坚的同时，晋察冀军区也打响了同样惨烈的涞灵战役。
