抗日战争开始的时候，李德生还是八路军129师385旅769团的一个通信排长，凭借着在夜袭阳明堡、响堂铺等战役中的突出表现，他后来历任特务连长、副营长、营长、团长等职。到解放战争时期，李德生已经升任晋冀鲁豫野战军6纵17旅旅长。
当时，17旅跟随刘邓大军突破黄河，千里挺进大别山，直捣中原。在襄樊战役中，李德生一战成名，他指挥17旅先后夺取琵琶山、真武山和铁佛寺三处要地，攻破城池，一举活捉第15绥靖区司令长官康泽，刘邓首长称李德生“刀劈三关”，中央为他记大功一次。
淮海战役结束后，时任二野3兵团12军35师师长的李德生，率部进军大西南，歼敌数万，成了二野青年将领中格外突出的一位。
新中国成立后，李德生率领35师入朝作战，参加了著名的第五次战役和金城防御战。升任12军副军长，并作为上甘岭战役的第一线总指挥指挥了十二军作战。当时的志愿军三兵团副司令员王近山，晚年重病陷入半昏迷，还在问儿子谁在前线，儿子回答李德生在前线，王近山听后说道：“李德生上去，我就放心了。”可见李德生在此战中的精彩表现和亮眼发挥。
1955年，李德生回国后，顺理成章成为12军军长，并被授予开国少将军衔，送入南京军事学院深造。
毕业后，李德生重回12军，发掘、整理出了闻名全国全军的“郭兴福教学法”，为提高我军的训练水平做出了巨大贡献。
1967年，李德生接到南京军区紧急通知，要他尽快赶到北京，接受新的任务。李德生到北京后，周总理亲自接见了他，并命令他带领12军开赴安徽，执行“三支两军”的任务。
李德生到达合肥后，立即召开会议，稳定住了局势，在安徽实现了大联合和“三结合”。整个过程中，12军凭借光荣的革命传统，大造舆论，通过思想政治工作就完成了这个艰巨的任务。而且，此后安徽的情况也再未出现过反复，在全国各省的工作中都算得上名列前茅。
1968年4月18日，安徽省革委会成立，李德生出任省革委会主任，不久后又当选安徽省委第一书记。
在任期间，李德生大力开展抓革命、促生产运动，重点抓了合肥铁厂、马鞍山钢铁厂、铜陵铜矿等大型国营企业的生产。确保了安徽经济逐年呈上升入趋势，工农业每年都能达到10%的增长。
李德生的这些表现，很快就引起了毛主席的注意和重视。1968年10月，八届十二中全会在北京召开，当周总理宣布与会代表的分组名单时，念到了李德生的名字，毛主席立刻询问：“哪个叫李德生？”
和大多数开国少将一样，李德生平时接触毛主席的机会是非常少的，听到毛主席叫他的名字，李德生立即从座位上站了起来，朝着主席台的方向敬了一个军礼。
毛主席看着李德生，笑道：“不认识你啊，你这个同志。”接着他又问了李德生的一些履历方面的问题，尤其重点问了他的年纪。
当时，全场的同志都把目光聚集到了李德生身上，毛主席当众表扬他：“我们安徽的事情办的不错。你们怎么搞的？”
李德生没有思索，脱口而出道：“就是大造舆论。”说完这句话，大家还在等李德生再具体说点，但李德生却再未开口，代表们发出一阵笑声，毛主席也跟着笑了。李德生忠厚朴实的性格，给毛主席留下了强烈的好感。
一年后，即1969年4月，九届一中全会在北京召开。在这次会议上，李德生当选中央委员。当周总理念到李德生的名字时，毛主席再次打断道：“我要再看看李德生同志。”
李德生再次起身，整理了自己的军容，向毛主席敬了一个标准的军礼。周总理笑道：“德生同志，你把军帽摘下来。”
李德生于是脱下军帽，露出了自己的头发，只见他留着一头乌黑的寸头，浓眉下垂，有着宽宽的额头和一张宽阔的面庞，满面红光，看起来虎虎生风，又刚中带柔，威严干练又不失敦厚稳重。
毛主席问李德生：“德生同志，你今年多大了？”李德生回答：“报告主席，我53岁了。”
毛主席听后重复道：“53岁，53岁。”
毛主席为什么要两次询问李德生的名字呢？因为他当时正在考虑在领导班子内实行“老中青三结合”，这意味着李德生要被提拔重用了。
果然，3个月后，李德生就接到了周总理的电话，通知他中央决定调他到北京来工作。李德生说自己水平不高，常年搞军事，工作经验不够，还是在地方工作比较好，周总理告诉他，这是中央的决定，让他尽快到到北京。
来到北京后，毛主席亲自接见了李德生，一见面就对他说：“李德生同志，我也叫李德生（得胜）啊！12军，你是南京军区的。但我了解你，不是通过南京军区，而是通过其他同志。大家都说你不错。”
接着，毛主席安排了李德生的工作，让他参加军委办事组和国务院业务组的工作，同时继续担任他在安徽和南京军区（副司令员兼12军军长）的职务。李德生担心自己的身上的担子太重，难以胜任，希望能免去安徽和南京军区的职务。毛主席却说：“一个也不要免，安徽的不要免，南京的也不要免。”
于是，身兼党政军数职的李德生，开始了自己革命生涯的又一阶段。此后，他历任解放军总政治部主任、北京军区司令员、中央副主席（政局常委）、沈阳军区司令员、国防大学政委、中顾委常委等重要职务，1988年，他被授予上将军衔。
1990年退休后的李德生，继续关心国家和军队的建设事业，他和其他老同志一起，成立了中华爱国工程联合会并担任会长，同时还是中国滑冰协会、中国武术协会的名誉主席。他笔耕不辍，晚年写下了《李德生回忆录》和《军事思考录》等著作，还主编了《从郭兴福教学法到科技大练兵》等著作。
2011年5月8日，李德生将军病逝，享年96岁，中央对他的评价中指出，他是“我党我军卓越的领导人”。
