霍光是西汉著名将领霍去病的同父异母之弟。

霍光父亲霍仲孺先在平阳侯曹襄府中为吏，与平阳侯的侍女卫少儿私通生霍去病，后归家娶妻生霍光。至霍去病在京城任将后，方知他的生身之父为霍仲孺。汉武帝元朔四年，二十一岁的霍去病以骠骑将军之职率兵出击匈奴，路过河东，方与其父相认，并为其购买了大片田地房产及奴婢。当时，霍光仅十多岁。霍去病得胜还京时，遂将霍光带至京都长安，将其安置于自己帐下，任郎官，后升为诸曹侍中，参谋军事。两年后，霍去病去世，霍光做了汉武帝的奉车都尉，享受光禄大夫待遇，负责保卫汉武帝的安全，所谓“出则奉车，入侍左右”。在跟随汉武帝时期，他谨慎小心，受到汉武帝的极大信任，同时，他也从错综复杂的宫廷斗争中得到锻炼，为他以后主持政务奠定了基础。