卫家在公元前122年至前106年达到巅峰，控制了汉朝大部分军队。朝堂上超半数人与卫家有关。核心人物是皇后卫子夫，原为歌女，后被汉武帝提拔。
卫子夫的地位随家族提升而提高，尤其在生下汉武帝的长子刘据后。公元前128年，刘据成为太子，不久卫子夫晋升为皇后，维持汉朝最高女性尊位三十余年。卫家的权力以她为核心，因其与刘据的存在确保了家族在朝中的重要地位，她的两姐姐、一哥哥及三个同母异父弟弟也各自显赫。
卫君孺曾是平阳侯府的仆役，后因卫子夫的影响嫁给公孙贺，成为太仆。公孙贺是汉武帝的心腹，后升任丞相。他们的儿子公孙敬声继任太仆。
卫少儿，在平阳侯府与霍姓小官有染，生下了名将霍去病。
卫少儿，虽曾遭姓霍的小官遗弃而成为单亲妈妈，却未因此沉沦。随着妹妹卫子夫的地位提升，卫少儿也跻身长安贵妇之列，并得以与陈掌联姻。陈掌，陈平的后代，因私情被汉武帝撮合为夫妇，成为霍去病的继父。汉武帝信任陈掌，任命他为詹事，即皇后和太子的管家。同时，卫子夫的哥哥卫长君也被提拔为侍中，进入中枢管理层。
卫长君早逝，卫家大哥一脉失传。卫青，卫子夫的弟弟之一，成为著名的大将军。出身贫寒，因姐得势而升官，后学军事成名将。汉匈战争中，卫青领军获胜，成为汉朝重要支柱，仅次于其姐卫子夫。
卫青的配偶过世后，与平阳公主结合，成为汉武帝的姐夫。因此，汉武帝和卫青互为姐夫。以卫青为核心，许多军中将领与卫家建立联系，增强了其家族势力。
在卫青的下一代中，卫广和卫步是两位重要人物。尽管卫步的历史记载有限，但卫广在汉朝南线军队中扮演着关键角色，仅次于主帅。他领导的战役中，成功消灭了且兰国，击杀数万人。虽然卫广的名气不如卫青，但他在战场上的成就不容忽视。
益州由卫广征服西南夷后逐渐开辟，他对汉朝的西南开发贡献重大。卫子夫的兄弟姐妹各有成就，如卫家大姐的儿子公孙敬声任太仆，二姐的儿子霍去病封狼居胥。卫子夫本人的子女中，儿子刘据成为太子，大女儿嫁给曹参玄孙曹襄，其他两个女儿情况不详，但可能嫁入顶级权贵之家。
卫家后代中，卫青的三个儿子虽被封官，却未显大才。长子卫伉曾领军屯边，但因汉朝停止攻击匈奴，未有显赫战绩。
卫家的门客和故吏更为显著，他们多以公孙贺、卫青、霍去病为中心，身居要职，尤以卫青麾下的将军为最。这些人因为卫青击败匈奴而获晋升。
正史记载，其中知名者超过十人。李息便是其中之一，他早年在汉景帝身旁工作，后被派至边疆任校尉，并在汉武帝时期随卫青抗匈奴。
李息最终成为了相当于现代外交部核心外交官的大行官职，与张骞两度出使西域后获得的职位相同。公孙敖并非卫家大姐夫，而是卫青的救命恩人，在卫家崛起初期救过卫青。他曾与卫青平级，因救卫青受到汉武帝赏识，学习兵法。但后来在与匈奴战争中表现不佳，导致仕途不顺。
公孙敖在军事生涯中有多次显著的晋升和失势。他曾四度因军功晋升为将军并一度封侯，但每次都因故失去职位和爵位。最终，他的官职相当于一个普通将军，尽管如此，他在军中的经验极为丰富。在龙城之战中，他是四路汉军的其中一路指挥官，显示出他在军中的重要地位。
李沮在汉武帝时期担任强弩将军，这是一个重要的职位，负责全军的弓弩兵力。这个角色可以比作现代的炮兵军团最高指挥官。
至于李蔡，虽然他的名气不及堂哥李广，但他在朝廷的成就实际上超过了李广。
李蔡因军功封侯并成为汉朝丞相，先于卫家大姐夫。在任内，他助力汉武帝经济改革，包括完善盐铁专营和推行五铢钱。然而，他最终因侵占汉景帝陵园而自杀。
张次公曾两度因军功封将并封侯，但后因犯错失去职位和爵位。他曾执掌重要职责，管理汉朝的北军，这支队伍与南军共同守护京城。周勃就是控制了北军，成功发动政变。
张次公曾是京城的卫戍将军。苏建，曾参与建造朔方城并在对匈奴战争中立功，后因战败失职。他转型为政治官员，成为代郡太守。其子苏武在贝加尔湖牧羊多年。苏建在北方边境具有影响力。赵信，原匈奴相国，降汉后成为卫青手下的将军，后又回匈奴。苏建因赵信之事失去职位和爵位。
赵信对于卫家而言是不利因素。张骞，知名探险家兼对匈奴战争参与者，尽管终其一生仅为大行，但对历史有深远影响。他曾是卫家的部将。赵食其，曾是右将军，后因失职失爵。曹襄，平阳公主之子、卫青继子、卫子夫女婿、曹家后人，生来享爵位，成年后成将军，直接被封为后将军，是军中实权人物。
郭昌因跟随卫青从校尉晋升为将军，曾参与西南战役，但因战功不显著最终被解职。荀彘随卫青并参与平定朝鲜之战，曾任左将军，但后因罪被杀。路博德虽在卫青麾下表现平凡，却成为将军，并在南越战争中担任主帅，立有大功，建立居延塞，终获平安退休。
赵破奴曾是霍去病的人，但后来与卫家建立了关系。他曾灭掉楼兰国，后被匈奴俘虏，十年后返回汉朝，不久因受卫家牵连被杀。另外，李广虽与卫家有交集，并未完全倒向卫家。尽管存在不同立场的人，卫家在军中的关系网仍极为庞大，足以控制汉朝一半的军队。
卫家在汉朝拥有广泛的人脉，尤其文官中影响力巨大。汉武帝让太子刘据监国期间，刘据依靠卫家支持，聚集了大量官员。
当时，汉朝近半官员与卫家有关联。这种势力在其他朝代可能招致皇疑，但汉武帝容忍了其存在。尽管如此，汉武帝晚年对强大的卫家保持警惕。
巫蛊之祸的发生也与此有关。若非汉武帝统治，卫家或许已篡位成功。
