哈莱姆地区的城市化建设始于1880年代，最早定居人口为德国移民，之后包括爱尔兰、意大利和来自东欧国家的犹太人移民。在东哈莱姆，南部意大利人和西西里人占人口多数，曾被称为“意大利哈莱姆”。波多黎各移民始于一战之后。到二战之后，由于哈莱姆地区意大利人的迁出和拉丁裔人口的大量涌入，波多黎各裔和拉丁裔移民占据人口的多数。1960、1970年代期间，该地区被种族冲突、帮派混战、毒品、犯罪和贫穷所困扰。时至今日，臭名昭著的拉丁国王帮派仍然横行于东哈莱姆。该地区现在是来自世界各地的新移民的聚居地，包括中东移民、中南美洲移民、海地移民、中国人、朝鲜人等。