汉末三国时，汝南郡辖境在今河南东南部、安徽阜阳一带。
汝南郡周代属于蔡国和沈国的辖地。西汉高帝二年始建汝南郡,郡治在上蔡,这里属平舆、宜春和安城三县所辖。至迟在文帝时，汝南郡已由陈郡析置。秦始皇统一全国后属颍川郡。东汉时期汝南郡属于豫州刺史部。