1924年10月应北京政府之邀，孙中山扶病北上共商国是，终因积劳病剧，于次年3月12日在北京病逝。
孙中山先生临终前，提出要求安葬在南京紫金山。早在民国元年（1912年)，孙中山在南京任临时大总统的时候，就几次到过紫金山。1912年4月1日，孙中山辞去临时大总统职务以后，与胡汉民等人曾到紫金山打猎。他看到这里背负青山，前临平川，气势十分雄伟，曾笑对左右说：“待我他日辞世后，愿向国民乞此一坏土，以安置躯壳尔。”
南京地处我国中部，长江下游，交通便利，形势冲要，诸葛亮曾称赞南京是“钟山龙蟠，石城虎踞，真帝王之宅”。孙中山也说过：“南京有高山，有平原，有深水，三种天工，钟毓一处，世界中之一大都市，诚难觅如此佳境。”南京又是孙中山就任中华民国第一任临时大总统的首都。他选择南京紫金山作为自己安息之地并不是偶然的。
紫金山，古代称金陵山，汉代称钟山，东吴时改名蒋山，明代因明太祖孝陵在此，又曾更名神烈山。
紫金山位于南京市东郊，是宁镇山脉的最高峰，东西长约七公里，南北宽约三公里。山脉呈弧形，弧口朝南，东段东南走向，止于马群；西段西南走向，经太平门附近入城，余脉向西延伸为富贵山、九华山，止于北极阁。
紫金山有三座山峰。主峰居中，名北高峰，海拔448.9米；东峰称小茅山，海拔365.8米，雄伟的中山陵墓即建于此峰半山坡；西峰海拔244.5米，太平天国曾筑天堡城于此。
明朝初年，明太祖在紫金山为自已建造陵基；在紫金山周围建筑了一道长45华里的皇墙，将大部山林划入禁垣之中。明朝灭亡以后，明孝陵、灵谷寺遭到很大破坏。康熙、乾隆年间，明孝陵和灵谷寺虽得以修复，但到咸丰年间，太平天国定都南京，清军在孝陵卫设江南大营，长达10年的战火使明孝陵、灵谷寺成为一片废墟。同治、光绪年间，明孝陵、灵谷寺虽也作了一些小规模的修复，但已面目全非，再也没有昔日的气象。此外，紫金山的森林也遭到很大破坏，到民国初年，除灵谷寺、万福寺、紫霞洞、明孝陵等地还保存一些残林外，整个紫金山已是满目创痍，石砾尽现了。
宣统二年(1910年)，美国教授裴依理应金陵大学之聘来南京任教，他看到南京街头乞丐充斥，人民生活极端贫困，建议成立义农会，开发紫金山，以工代赈、救济贫民。辛亥革命后，裴依理曾拜访孙中山，提出自己的建议。这一建议立刻得到孙中山的支持，并第一个在发起书上签名。后来，又得到唐绍仪、黄兴、黎元洪、程德全、袁世凯等30人的签名支持，定名为“华洋义赈会”。拨紫金山荒地4000亩，裴依理亲自组织贫民垦荒地、辟苗圃，植树造林。1916年，江苏省林务专员金其照、第一农校校长过探先开始筹备在南京建立第一造林场。经过八年经营，到1926年在紫金山四方城一带开辟苗圃600亩，并在小红山、紫霞洞南及明孝陵以西栽植黑松、马尾松，在石象路以北植刺槐、白杨、麻栎，共计造林1500余亩，每年出苗500万株以上。义农会和第一造林场的艰苦创业，为后来中山陵园的建设奠定了基础。
孙中山逝世的消息传出后，举国震动。当时段祺瑞正在出席国务会议，闻报后立即下令散会，停止办公，下半旗志哀。全体阁员到铁狮子胡同行馆孙中山灵前吊唁，接着又派柏文蔚、王来为政府治丧代表，并以北京政府临时执政名义发布恤令，下令“所有饰终典礼，著内务部详加拟议，务极优隆，用符崇德报功之至意”。北京政府非常国会还通过了为孙中山举行国葬的决议。
孙中山逝世的当天上午，苏联大使加拉罕、苏联顾问鲍罗廷、参赞伊凤阁以及日本新闻记者等到行馆吊唁。晚上，行馆人员组成治丧办事处，由182人组成，分为秘书、事务及招待3个股。秘书股主任汪精卫，成员有戴季陶、于右任、吴敬恒、邹鲁、李大钊等44人；事务股主任孔祥熙，成员有马超俊、马湘、朱卓文等76人；招待股主任李烈钧，成员有邓家彦、丁惟汾、何香凝、邓颖超等62人。随即，治丧办事处通电全国，规定国民党员一律佩戴黑纱，停止宴会、娱乐7天，以示哀悼。
孙中山逝世后，灵榇暂厝于碧云寺。北京治丧活动结束后，中央公园被改名为“中山公园”，孙中山停灵的社稷坛大殿由各机关捐款11000余银元改建为“中山纪念堂”。铁狮子胡同行馆也于1929年6月1日开工改建大门，门额悬“孙中山先生行馆”金匾，孙中山逝世的卧室内镌刻石碑，上刻“中华民国十四年三月十二日上午九时三十分，孙中山先生在此逝世”。
孙中山早就表示希望百年后葬于紫金山，在北京弥留时，仍以归葬南京紫金山嘱咐家属及侍疾者，故治丧结束后，即着手筹建中山陵。
1925年4月4日，在北京的国民党中央执行委员筹备安葬事宜，推举张静江、汪精卫、林森、于右任、戴传贤、杨庶堪、邵力子、宋子文、孔祥熙、叶楚伧、林焕廷、陈去病12人为葬事筹备委员。葬事筹备处成立后，确定工作的顺序是：1、确定墓址；2、测量墓地；3、交涉圈地；4、征求陵墓图案；5、决定陵墓图案；6、招标包工；7、兴工。遵照孙中山归葬南京紫金山的遗愿，葬事筹备处成立前，北京治丧处就已派林森到南京初勘葬地。林森回北京后向治丧处作了汇报，由治丧处代表与段祺瑞政府接洽。4月4日，北京政府秘书厅致电南京督办卢永祥、江苏省长韩国钧，令其妥为照料。葬事筹备处成立后，首先由家属及葬事筹备处代表林焕廷、叶楚伧等实地勘察墓址。4月21日晨，宋庆龄、孙科等由上海抵宁，上午出席了南京各界追悼孙中山大会，下午即赴紫金山。在此之前，葬事筹备处曾收到一位姓孙的来信，自称是紫金山虎山主人，愿捐山为孙中山墓址，因此宋庆龄等当即去实地观察，方知所谓虎山，不过是明孝陵西侧的一座小丘，地势较低，而且所有权还有纠葛，不宜作墓址，随即登山向东行，至小茅山，途中发现有两处小坡，都高出明孝陵，当天未能作出决定。第二天再次登山，由山顶至小茅山万福寺，这座寺庙位于现在中山陵东北的一段平台上，从山顶上看，发现紫霞洞上也有一处平台，但面积较小，不合用。宋庆龄表示墓址不宜选在山顶，应建于南坡平阳处，实地勘察之后，便回上海。4月23日晚，葬事筹备委员会召开了第二次会议，确定紫金山中茅山南坡为墓址所在地，并决定派主任干事杨杏佛赴宁接洽圈地、测量照相。
从1924年10月北京政变到1926年底，短短的一年多时间内，南京地方军政当局曾五次易人，先后统治南京的有齐燮元、卢永祥、张宗昌、杨宇霆、最后是孙传芳。由于时局不定，政潮迭起，因而交涉圈地工作异常困难，葬事筹备处原定的6000亩墓地的计划不能实现，最后以2000亩立案，其中包括1200亩民地，由葬事筹备处陆续出价收购。
建陵初期，南京地区虽然还处于军阀统治下，时局动荡，由于孙中山深孚众望，因而葬事筹备工作仍得以继续进行，陵墓工程没有中断一天。但因交通时常中断，各种建筑材料不能及时运到，工程进展缓慢。1927年春，北伐军攻克南京，4月18日正式在南京成立国民政府，与武汉的国民党政府形成对立的局面。武汉政府下令讨蒋。南京政府一方面要继续北伐，一方面又要对付武汉政府。孙传芳乘机南下，进攻南京，战乱不息。在这种情况下，葬事筹备处及建筑师虽积极设法以求加速工程进度，收效却很小。1927年1月，葬事筹备处请李宜之任工程监查员，并制定监查员职务条例，对筹备处直接负资，规定如监工得力，完工后将优给奖酬，但仍无多大效果。3月，又换刘梦锡为工程监查员。刘梦锡早年就读于上海南洋大学，后来留学美国，他担任工程监查员后，时局趋于安定，工程进展较为顺利，一直到陵墓完工。
陵墓工程开工不久，1926年7月27日葬事筹备委员会第41次会议决定，在陵园内设立中山植物园。由于时局关系，植物园的计划未能及时付诸实现。中山陵园成立后，才由傅焕光、陈宗一勘定明孝陵、吴王坟（即梅花山）、前湖一带为园址，着手筹建。同时，在全山开展植树造林。从1928年至1929年，共计栽植马尾松、黑松等140余万株。1928年3月12日，是国民政府建都南京后第一个孙中山逝世纪念日，这天下午南京各界在陵园举行大规模纪念植树活动。以后，每年3月12日孙中山逝世纪念日，南京各界人士都要在酸园举行纪念植树活动，一直延续到现在。
随着北伐的胜利和中山陵墓工程的积极进行，国民党政府开始着手准备将孙中山遗体奉安中山陵。1928年11月9日，国民政府发布第51号训令，批准了葬事筹备委员会的建议，决定于1929年3月12日中午在南京紫金山举行奉安典礼，特派林森、郑洪年、吴铁城为迎榇专员，驰赴北平，迎孙中山灵榇南下安葬。
关于孙中山所用的棺材，必须作一点补充说明。孙中山临终前，曾表示愿如列宁保存遗体以供后人瞻仰。他逝世后，协和医院的专家向治丧处提出：如有密封性能好的水晶棺(当时也称之为玻璃棺），遗体至少可保存150年以上。治丧处即致电苏联及欧洲各国定购水晶棺。因考虑到水晶棺不可能立即运到，遗体搁久会腐变，治丧处决定在3月15日由协和医院施行摘除内脏及防腐手术。手术以后，协和医院院长刘瑞恒选用了一具美式楠木棺装殓遗体，但孔祥熙嫌其小，于是换用了一具楠木大棺。此棺为椭圆形，前端微呈方形，棺中用玻璃作隔层，揭开棺盖就可以瞻仰遗容，因此有的人把它叫做楠木玻璃棺。
1925年3月30日正午12时，苏联政府特派专员多米诺夫将赠送的水晶棺运到北京，并带来了一封苏共中央执行委员会给家属的唁函。这具水晶棺长1.75米以上，高约0.5米，棺头宽约0.65米，棺尾宽0.53米以上，棺的外盖及外层均系钢质镀镍，明晃可鉴，内盖为玻璃质，可透视内部。宋庆龄、孙科等家属及治丧处的人都感到欣慰，以为遗体可望长期保存。后来经协和医院的专家检查，发现此棺质料脆簿，易于传热，和列宁用的水晶棺并不一样，加上长途转运，有几处出现漏孔，不能长期保存遗体。宋庆龄、孙科及治丧处只好决定仍暂用原来的楠木玻璃棺，同时向美国定购铜棺。1925年8月，铜棺由美商运到上海，宋庆龄看了以后表示满意。此棺高0.65米，宽0.80米，长2.24米。1927年6月，上海葬事筹备处迁至南京，铜棺也随后运往南京。
1928年12月20日下午，国民政府特派迎榇专员林森、郑洪年、吴铁城由南京出发赴北平，向美国购买的铜棺也随车运往北平。
为配合灵榇南来，南京同时也在修筑迎榇大道，大道起自下关江边的中山码头，经鼓楼、新街口、中山门直达中山陵，全长15千米。由于进展缓慢，奉安典礼未能如期在3月举行，而最终定在了当年6月1日。这条“中山大道”成为南京的城市轴线。
孙中山的奉安大典在民国时期可谓是盛况空前，分为三个部分：奉移南下、南京公祭和奉安大典三个阶段。1929年5月26日，孙中山的灵柩从北京移往南京，经过三天两夜的行驶，28日上午10点，灵车到达南京浦口。政府主席及中央委员早已齐集肃立。奏哀乐、向灵榇行三鞠躬礼、默哀三分钟、奏哀乐。礼毕，奉移至威胜军舰，11点30分渡江，12点抵达中山码头。奉安总干事孔祥熙率32名杠夫将灵榇奉移至陆地，转特备汽车中，往中央党部开去。过中山大道时，等候的迎榇队伍按列加人。民众观礼，万人空巷。下午3点15分到达中央党部，随后举行了三天公祭。
5月31日下午6时，举行封棺典礼，由蒋介石生持典礼，席楚霖任宣赞。参加封棺典礼的有孙中山夫人宋庆龄、子孙科、媳陈淑英、孙儿孙治平、孙治强、孙女孙穗英、孙穗华、女儿孙琬、女婿戴恩赛、侄儿孙满、孙乾；孙中山亲故陈少白、林焕廷、何香凝、宋霭龄、宋美龄、宋子良；迎榇专员郑洪年；国民党中央委员蒋介石、胡汉民、谭延闿等。鞠躬、默哀后，由蒋介石领导依次至灵前瞻仰孙中山遗容，然后封棺。蒋介石、孙科、孔祥熙率领孙中山生前卫士黄惠龙、马湘、陈兴汉、刘钺、肖芹将铜棺安盖。蒋介石、孙科、孔祥熙亲自涂殡。7时，奏哀乐，行三鞠躬礼，然后依次退出，封棺告成。
1929年6月1日，奉安大典如期举行，从鼓楼到中山门，漫长的迎榇大道上，沿途搭有松柏、青白布牌楼20多座。“数十万”南京民众自凌晨2点开始就拥塞道路，在迎榇大道两侧恭候灵车，为孙中山先生送灵。
孙中山奉安大典为我国现代史上的一件大事。奉安大典完毕以后，奉安委员会决定成立一个总理奉安专刊编纂委员会，以蒋介石、胡汉民、戴传贤、孙科、叶楚伧、于右任、孔祥熙为委员，指定梁寒操为编辑主任，郑洪年，高秉坊、孙璞、符熙腾、夏光宇、刘毅夫、曾克耑、朱子爽、李鸿音、沈卓吾等担任编辑，负责编写《总理奉安实录》。这本书详细记载了孙中山灵榇移灵、奉安及中山陵兴建的经过，一年后付印出版，共出平装本13680册，精装本543册，由国民党中央宣传部赠发，除参加奉安大典的各界代表每人赠送一册外，并赠送总理陵园管理委员会精装本100册。
此外，参加奉安大典的人员，每人还赠送了一枚铜质专安纪念章。章的正面是孙中山头像，背面是中山陵图案，图案上方是吴敬恒篆书：“小中山先生安葬纪念中华民国十八年三月十二日”。秦安纪念章是孙中山葬事筹备委员会在1928年12月1日举行的第63次会议上决议向美商定制的，后来奉安日期更动，但纪念章已铸制，无法更改。每枚纪念章用一个蓝绫镶制的盒子盛装，十分精致美观。
奉安大典前后，各国政府及海内外人士出于对孙中山的敬意，还纷纷赠送了许多珍贵的纪念品，计有银盾24只，镜屏16只，祭幛11幅，花圈279只，银花圈3只，磁花圈2只，铜面花圈1只，绣花花圈1只，瓷屏40面，瓷瓶9只，银镜架4只，孙中山遗像5幅，孙中山银像3幅，铜像2座，石像1座，瓷立像1座，其它银器(银杯、银屏、银匾等）20件，以及各种鼎、旗、灯、钟、碑等，各种花木5985株、421盆。
