1977年9月，吴桂贤主动辞去一切职务，请求回到西北国棉一厂继续当工人。

​回到陕西的当天夜里，吴桂贤顾不上休息就直奔工厂。得知“赵梦桃小组”在上夜班，吴桂贤穿上工作服就往车间走：“我是个工人，我的姐妹在上班，我也要上班！”

​因为坐了20多个小时的车，又没好好休息，吴桂贤在车间里一直吐。姐妹们都劝她在一边休息，她不肯。“不行，把我的4台车给我！”那一夜，她工作到了天亮。

​但让吴桂贤没想到的是，回到陕西后，关于她的谣言和大字报开始四处蔓延。有人说她是在中央犯了错误被赶回来的；还有人说她的子女生病时，曾动用专列到北京看病。

​“做人最难了，人的嘴是扁的，舌头是软的，什么都说。我生在旧社会，长在红旗下，这辈子什么酸甜苦辣都尝过，一路各种运动都经过了。我要不是度量大，早就不在了。”吴桂贤说，自己一心听毛主席和党的话，尽了自己的力，不怕别人怎么说。

​1981年5月，中央领导同志曾专门针对吴桂贤作了一个批示，指示陕西省委为吴桂贤安排工作，并对她回地方几年的表现进行公正评价。陕西省委有意将吴桂贤安排到省妇联或省总工会工作。但她本人坚持留在西北国棉一厂，担任党委副书记。1982年，吴桂贤再次获得陕西省劳动模范称号。