树大招风。正是因为卫氏家族的富贵，所以遭到一些人的嫉妒和陷害。征和二年六月至八月之间，汉武帝非常信任的一个名叫江充的酷吏，以“巫蛊”之罪，陷害卫子夫和太子刘据等人，致使卫氏家族从兴盛走向灭亡。

卫子夫的儿子刘据，是汉武帝的长子，汉武帝29岁才有儿子，一开始非常喜欢刘据，但是等到刘据长大以后，汉武帝嫌他性格太仁厚软弱，能力也一般，所以逐渐冷淡了他。

在汉武帝晚年，卫子夫和太子因为汉武帝的宠幸渐渐少了，常常感到不安，甚至有性命之忧。 晚年太子刘据因谋反一案牵连，自缢身亡。

卫子夫知道儿子自杀后也悬梁自尽，一生温柔敦厚的卫子夫走完了她38年的皇后之路，而盛怒之下的汉武帝大开杀戒，屠灭卫家三族和帮助卫家的宫人达十万之多。