在蒋经国所有的子女中，章孝严和章孝慈曾是一个禁忌，尽管所有人都知道他们是谁的孩子，可是一度几十年，他们只能以沉默来对抗流言和侮辱。父亲就在眼前，可是却不能相认也无法相认，这成为一个永远无法弥补的伤口，停留在章氏兄弟的心底，无法愈合。 1942年3月1日，章孝严、章孝慈出生在广西桂林，蒋经国为其取小名“大毛”、“小毛”。但是孩子还没有满月，身为母亲的章亚若就不明不白地死去了。如何处理这对双胞胎，成为当时的棘手问题。没有人知道蒋经国是怎么考虑的，但从此，章氏兄弟开始跟着外婆、舅舅过起了颠沛流离的生活。也有人认为，章氏兄弟的外婆甚至是连夜带着孩子离开的，因为害怕遭到暗杀。 为了让双胞胎更好地成长，外婆周锦华将他们过继给当时在贵州的舅舅章浣若，并改姓为章。 1949年，蒋经国的亲信王升通知章浣若，让他带着老人和孩子转移到厦门，然后坐船到台湾。就这样，7岁的小哥儿俩来到了台湾。母亲早逝，生父蒋经国又无法直接面对他们，外婆便成了他们唯一的依靠。为什么蒋经国没有把孩子接到自己身边，说法很多，但不管怎样，这对兄弟在没有父母的情况下，只能艰难地成长。 1988年5月，章孝严在接受记者采访时，曾经亲述了自己的童年和成长过程。他说：“虽然母亲早逝，双亲没有办法在身边，可是我觉得童年并不缺少爱。外婆的爱意与舅舅的关切，把父母留下的真空填补起来了，而我的人格也还得以正常发展。今天我特别怀念外婆。在那段日子，她把所有的精神与爱护都放在我和弟弟身上，抚养我们。” 当时章浣若一家十余口（包括章浣若自己的7个儿子）就住在台湾新竹两间小小的屋子里，老人和哥儿俩住在一家，兄弟俩合睡在一张竹床上。原本是国民党县长的章浣若来到台湾后，职务自然是没了，只能做点小生意来养活这一大家子人。但生意做得并不是很理想，章浣若是个读书人，而不是商人，他卖过日用品、烟酒，也做过碾米厂生意，可是最后都失败了。 章孝严、章孝慈兄弟的贫困是生活在蒋家的孩子们永远都无法想象的，房间小，书桌只能放在过道，所得的奖状无处贴，只好以书桌面为底线贴在墙上，到高中毕业时，已经贴到了天花板。所有同龄人能享受到的东西都没有，倒也罢了，而他们面对的最主要的问题就是怎么活下去，生存和吃饭都是大问题。 章孝严在接受记者的采访时，用“自生自灭”来形容当时的状况：“自生自灭这是很可能发生的。有次我跟孝慈，我们很调皮，在初一的时候，天气热，我们想去游泳。也没有办法到游泳池去游泳，我们就跳到灌溉用的很深的一个渠道，跳到里面去游泳，我们以为很浅，可是我们个也不高，初一的时候，踩不到底，水就这么流着，往下面流。我弟弟在岸上，我在下面。我就叫。幸好有个路人过来，一把把我抓上来，还把我痛骂一顿，说你这个坏孩子跑到这里面来游泳。这一幕我一直忘不了。我说万一有一天那种情况‘自生自灭’，可能灭顶呢，台北可能没有人知道。” 虽然，王升在蒋经国的授意下，也会接济章氏兄弟。但那只是在小学和初中时期。后来章氏兄弟的舅舅章浣若跟王升闹脾气，没有办法相处，也没有办法来往。从此章浣若也不到台北去，王升过年也不来了，他不来送钱接济，章家本来就拮据的生活更辛苦了。 提到这些往事，章孝严感伤地说：“我们这一段生活，父亲晓得或者不晓得我也都不知道。他可能以为我们现在过得还好好的。我是这么想。如果王升不报告的话，他怎么知道我们过得不好呢？很多人也不解，既然是经国先生的孩子，怎么会受苦到那个程度？三餐不继啊。要煮饭没有米。叫我跟孝慈去东门市场米店去赊米。先跟你赊几斤米，钱来了再还你。实际上钱没来，我们米又吃完了。轮到我又去赊米，钱没来，米又吃完了，轮到孝慈。后来我们都不好意思了。那时候已经念初中了，高中了。后来我跟孝慈说你去你去。后来最后就猜拳，谁输了谁去赊，去赊米。就这么过日子，我们都走过来了。如果不努力的话，没有人会去谈，经国先生还有两个孩子，叫章孝严、章孝慈。如果对人说你是经国先生的孩子，没有人会相信，没有人会在意的。” 在高中毕业前，章氏兄弟从没有住过有浴室和抽水马桶的屋子，家里没有沙发，家具都是简单的竹器。虽然当时在台湾，收音机和电扇都已经很普及，但是他们家却没有。 对于章氏兄弟而言，对他们影响最大的就是外婆，按照章孝严的说法“她是一位十分倔强而固执的老人，从不向环境低头，再困难的环境都是咬着牙撑过去的。” 对于这段困苦的日子，章氏兄弟后来回忆说：“”我们心中是满怀感激的，没有任何怨恨。因为这虽使我们在肉体上受到某些煎熬，精神上却使我比别人成长得更快。我们觉得贫困并不是耻辱。而一个人不知道如何从贫困中走出来，这才是可耻的。”