房玄龄出生在一个具有儒家思想的士大夫家庭，其父房彦谦爱做学问，广泛涉猎儒家经典，曾担任隋朝的泾阳令。而房玄龄自小便同其父一样，喜爱读书，擅长写作，同时擅长草书和隶书。年少时，天下太平，随父亲到京城的房玄龄却私下向父亲预言了隋朝的灭亡。十八岁时，房玄龄被推举参加进士考试，朝廷授予了他羽骑尉的职务，在秘书省担任校对，后补任隰城县尉。隋文帝仁寿四年（公元604年），汉王杨谅造反，房玄龄受到牵连，被贬到了上郡（今属陕西绥德县）。在父亲病重期间，房玄龄悉心照料。隋大业十一年（公元615年），房玄龄的父亲病逝，房玄龄一连五天滴水未进，十分悲伤。
