津浦铁路是由津镇铁路规划而来，光绪二十四年（1898）江苏候补道容闳首倡借美款修筑自天津至镇江的铁路，名为津镇铁路。容闳的奏请虽获得清政府的认可，但却遭到德国方面和铁路总公司督办大臣盛宣怀的极力反对：前者的理由是津镇铁路过境山东，山东为德国势力范围，德国不允许其他人在山东修筑该路；后者则担心该路会夺去平汉铁路的客货运输业务，结果容闳的计划被搁置。
同年，英国取得了包括津镇、浦信、广九等五路在内的筑路权，并很快与德国在津镇铁路问题上达成一致意见，协议共同承揽该路的借款与筑路工程。1899年5月，清政府与英德两国的汇丰、德华银行及汇丰所约之怡和洋行共同签订《津镇铁路借款草合同》。合同规定，借款740万英镑，九折交款，年息5厘，借款期50年，5年内全路造成，“所有造路及行车一切事宜，悉照芦汉铁路办法”。但不久因国内先后发生义和团和收回利权运动，津镇铁路因是拟借洋债，故而招致国人的反对和诟病，悬而不决。直至光绪三十三年十二月初十（1908年1月13日），双方才正式签订《天津浦口铁路借款合同》，该合同除在借款条件上发生有利于中国方面的变化外，还有个重要的变化即是，“变更路线，改由天津筑至浦口，而津浦铁路之名乃定”。
津镇为何改为津浦？在现有史料中并没有发现清政府与英、德等方面在谈判时就此问题展开过讨论和争议，似乎是自然而然就形成的默契。
1908年，津浦铁路两端确定后，中经何处？《天津浦口铁路借款合同》只规定了大概，具体路线走向则要经过多次踏勘、初勘、定测，以及结合各种社会因素的影响，才能最终确定。该路与淮河流域相关的线路选择，主要有四处。
第一，是南线走向的选择。津浦铁路南线走向有两种方案，即“苏北线”（或称东线）和“安徽线”（或称西线）之分。该路督办吕海寰主张取道“苏北线”，即便认为该线要绕行洪泽湖，路途迂折，工费较巨，但沿线为经济繁荣之区，取道该线仍较为合算的。显然，“安徽线”尽管为驿路，路线较直，但沿途多为偏僻之地。可是后来吕海寰改变了主意，取西而舍东，其主要原因是受东西两线所经地方政府态度的影响，安徽表现积极，希望选择皖境，而江苏则不希望取道东线，以避免与本省规划的“苏北线”之间产生冲突。
为此，苏省铁路公司还专门就线路走向发表了一份“说帖”，公开表示反对津浦铁路选择“苏北线”，“峄县向浦口之线系由东北而西南，以直线言必中贯洪泽湖，故其路线必绕湖，绕湖乃分二线，右绕之线系由峄县经徐州及安徽之宿州、凤阳、滁州以达浦口，左绕之线则由峄县经宿迁、清江、蒋坝、天长、六合以达浦口。右绕者道出湖西，左绕者道出湖东，就西则舍东，就左则舍右，非可兼营也。就二线比较之，西线所经名城巨市，度无舍西就东之理。即使就东线则由清江经天长、六合而至浦口，原系通衢，若谓绕道镇江而后沿江以至浦口，无论溢出合同范围断无允理，且与沪宁一孔出气，沪宁线既由镇沿南岸以达宁，此更与之夹江平行，似无此自相争利之下策，故津浦线之决不关涉清（江）镇（江），可断言也。”
在这份“说帖”中，苏路公司认为津浦线不应当选择“东线”，理由包括“西线”所经为“名城巨市”，“东线”已有水运，若绕道镇江，既与《天津浦口铁路借款合同》不符，且和沪宁路线相冲突等。在这些理由中，苏路公司认为“西线”所经为“名城巨市”，实与当时皖省实际相去甚远，不过却充分表明苏省人士反对“苏北线”的决心。因此，津浦铁路南线走向，对于安徽来说是“争”，但对江苏而言，则为“避”。
这一“争”一“避”成就了后来该路南线的走向，但吕海寰并没有完全放弃“苏北线”，他提出附带方案，由苏路公司筹办苏北线，并与津浦铁路干线接轨。这种考虑，虽然周全，但最终并未实现，结果是津浦铁路通车多年，苏北线尚无着落，皖境得利于铁路，而苏北重镇清江浦则因交通等种种原因而逐渐衰落。
第二，兖济支线。兖济支线由兖州至济宁，全长31.5公里，本来是没有这条支线的，全凭济宁地方力争而来，但即便如此济宁地方还是吃了大亏，因为原本济宁是津浦铁路干线上的站点。那么济宁是因何丧失在干线设站点的机会呢？现有研究表明，主要是因为德国人想把这条线路拐向鲁东地区，并向曲阜修筑一条支线，这样一来他们的矿权就可以延伸到最有前景的地区。而“（津浦铁路北段）勘路委员李德顺受德国工程师杨德尔之左右。杨以德人在山东享有沿路开矿权，济南以下路段舍济宁而就曲阜、滋阳、邹县，即因其多丘陵，富煤矿”。
津浦铁路舍济宁而从兖州直趋曲阜，让济宁地方士绅大感意外和不满，遂不断派员向铁路督办大臣及邮传部呈书，阐明立场，要求津浦铁路改道济宁。济宁地方提出改道的底牌，彭慕兰总结如下：“这班人把路线问题提交给津浦线将要穿越的所有4省绅士，并把它与刚刚开始的‘收回利权运动’联系在一起。在做这些事的时候，他们对拒绝德国人的采矿权的强调，远多于对这条铁路给济宁——鲁西南的枢纽并且是一个铁路和运河运输可以交汇的地方——所带来的商业利益的强调。济宁的一份呈给更高级别政府的请愿书中，按照另外一种自强的观念，把济宁这样做说成是一件积极的事例：它认为商业集中于济宁而非兖州或曲阜是非常有利的，它是因为那里商业利润的进一步积累可以激发工业化。但尤为重要的是，请愿者们强调最初的线路威胁到了中国主权及其现代化所必需的资源（特别是煤）的控制。这种观点及许多绅士的关系，把这项济宁意见背后的江苏、安徽、山东和直隶的绅士和巡抚们集结到了一块。”
由此可见，当时济宁地方为获得改道的可能，将济宁的重要商业地位与当时的民族主义观念结合起来，试图说服铁路当局不要屈服于德国。这种陈词也确实起到了效果，一是督办大臣对改道的可行性进行了重新评估，提出两条改道线路:一由济南、平阴、东阿、东平、汶上以达济宁至滕县，此线比原定济南、兖州线多出90里，建筑费约需增360万两，且“沿途附近黄河，一遇漫堤则路自悉被冲毁，全功尽弃，若将路线东移高处建筑则重山离沓，小河无数均须建筑铁桥而路线过于坡斜、地险、工艰，尤须备马力较大之机车方能合用”;另一条由济南、泰安渡大汶口至宁阳以达济宁至滕县，此线工程稍易于前，但比济南兖州线要多出78里，费用约需增200万两。
二是在改线计划不可行的情形之下，督办大臣提出折中的办法，“欲使干路得通济宁，只有筑一枝路由兖州直达济宁，此路约长六十里，地势平衍，无重山大桥，施工甚易，近北处亦无水涨之患，建筑费及火车价约共需银一百六十万之谱，以此路与前二线相较则各费俱省，而所人有加，实有裨于干线”。宣统元年（1909）11月，新任津浦铁路北段督办朱启钤拒绝改道的要求，决议修建一条支路接连济宁，算是对济宁地方的安抚。他还略带劝慰地说:“铁路之输运不能与江河并论。江河有大小，铁路无大小。非干路输运便，枝路即不便也。总之改造此线，无益于兖曲，亦无益于济宁。”
最终，人口较多、商旅较繁的南运河重镇济宁府只能成为津浦铁路上的一个支线小站，对于其日后的交通地位与区域地位都产生了极大的负面影响。
第三，淮河桥选址。淮河桥选址对整个津浦线路走向的影响微乎其微，但对于沿淮两岸城镇的交通条件及后来的发展影响巨大。《津浦铁路月刊》记载当时津浦铁路淮河桥选址的大概经过和结果：“规划之始定桥址于临淮（关），光绪三十四年（1908）十月总工程司德纪亲往测勘，以为地势低下，河流汎澜（泛滥——作者注），盛夏水涨，恐将溢过桥轨，乃改于临淮上游十二英里之蚌埠建桥渡淮，其地势较高，虽河水甚深工作较难，而河身恰系石底，建桥必易巩固。长淮卫河底虽亦坚硬，而地势洼下，须多越数大河流，且经过村落太多，迁让尤难，究不如蚌埠为得势。后虽怀远绅董有改筑路线由荆涂山麓建桥之请，然两山夹峙，淮流汹涌，于以施工艰险尤甚，故因势制宜而卒以蚌埠定议焉。”
这段话说明，淮河桥址初定于临淮关，主要考虑临淮关繁荣的商业贸易和便利的水运交通。然而经实测发现，临淮关地势低，易发生水患;另外临淮关两岸村落聚集，征地拆迁比较繁杂。淮河桥最终舍临淮关，而就蚌埠。
这样，蚌埠迅速崛起，成为皖北交通中心，而临淮关的地位逐渐下降。
第四，临枣支线。临枣支线是专门为运输中兴煤矿的煤炭货品而修筑的，它不像兖济支线是由济宁地方“争”来的，它是津浦铁路和中兴煤矿两家互取所需的结果。就津浦铁路而言，可以通过支路将该矿煤炭吸引过来，有利于货运业务发展;而对中兴煤矿来说，更是迫切期待交通条件的改善，有了铁路则煤炭可以很快销售到长三角地区。
实际上，1908年之前这家煤矿公司为解决运输困难，就开始着手修筑从矿区枣庄至大运河岸边台儿庄的铁路，称为台枣铁路。而津浦路局也早已看上该矿的资源，希望从津浦正线上的韩庄筑一支路通往枣庄，因此对煤矿公司私筑台枣铁路不满，便以未履行合法手续为由强迫停工，试图以韩枣铁路取代台枣铁路。为此，路矿双方展开交涉，津浦路局不想将来韩枣铁路与台枣铁路竞争，中兴煤矿则既不愿意舍弃台枣铁路，也不愿意与津浦铁路闹翻，更寄希望于将煤矿与津浦铁路干线连接起来。最终，双方达成一致，由煤矿公司提供垫款60万元，修筑干线与矿区的支路，并向津浦铁路提供价格较为优惠的煤炭，而津浦路局也同意以优惠运价承运该矿煤炭货品，同时准予台枣铁路继续保留。
但是支路由干线何处至矿区，有两条线路可供选择，一是由津浦线上的韩庄站至台枣铁路上的峄县，使两路合二为一;二是由津浦线上的临城站修至枣庄，直达矿区。路局最终选择了第二条线路。虽然“当时，总工程司之意见以第二线较第一线加长六启罗米达（千米），用款多费五十万马克，主张由韩庄修至峄县。总办朱启钤、卢祖华则以由临城至枣庄直抵公司之矿厂转运时便于装卸，将来南北通车用煤正多，前与公司订立买煤运煤合同，原有互相维持交换利益之约，临城一线适当产煤之中心，公司正拟续开井口，扩充分矿，由此线运输更形利便，将来如赎回公司已成之路与之衔接，直达运河其势亦顺”。
线路走向确定后，施工很快步入正轨。津浦铁路北段由德国工程司承办，南段由英国工程司承办。北段自山东峄县韩庄运河桥至天津，1908年7月开工，1911年夏基本完工。南段自浦口至临淮关间桥梁多达80座，1910年完工。1911年2月已铺轨至徐州，5月蚌埠淮河大桥完工。9月南北两段接轨，除黄河大桥外，津浦全线已可分段通车。黄河大桥则是津浦铁路的控制性工程，难度较大，至1912年12月才最终完成。
津浦铁路支线较多，除前述的兖济和临枣支线，还包括泺黄、柳泉和良陈等支线，其中兖济、临枣和柳泉三条支线位于淮河流域境内。兖济支线1911年10月动工，1912年11月通车；临枣支线1911年5月动工，1912年5月竣工通车，全线31.5公里；柳泉支线，是自徐州的贾汪煤矿至津浦铁路柳泉站，主要是方便该矿运煤，全长15.6公里，1917年由贾汪煤矿建成。良陈支线，则是为了便利运输黄河以北的轨料起见，路局修筑的一条自良王庄至天津海河南岸陈唐庄的支线，长25.5公里，1908年9月动工，1910年4月通车；泺黄支线，位于济南市北郊小清河与黄河间，西起津浦铁路泺口站，东至小清河南岸的黄台桥码头，与胶济铁路的黄台桥支线接轨，全长7.8公里。1906年，山东盐运署即建有自黄台桥至泺口码头的轻便铁路，名为清泺小铁路，专为运盐之用。津浦铁路建成后，经盐商请求改建，与津浦铁路泺口站相接，是为泺黄支线。该支线于1913年1月开工，同年6月竣工通车。
津浦铁路主要干、支线均分布于淮河流域的鲁南、皖东和苏北地区，呈南、北走向，在淮河流域的起点为山东兖州府站，终点为安徽的乌衣站，过境线路约468公里。淮河流域内设立的大、小站，含临枣、兖济和柳泉等支线，共计47站。其中，津浦铁路干线40站，包括山东南部的兖州府站、邹县站、雨下店站、界河站、滕县站、南沙河站、官桥站、临城站、沙沟站、韩庄站；江苏北部地区的利国驿站、柳泉站、茅村站、徐州府站、三铺站、曹村站，以及安徽东部地区的夹濡站、李家庄站、符离集站、南宿州站、四寺坡站、任桥站、固镇站、新桥站、曹老集站、蚌埠站、门台子站、临淮关站、板桥站、小溪河站、石门山站、明光站、小卞庄站、管店站、三界站、张八岭站、沙河集站、滁州站、担子街站及乌衣站。临枣（含台枣）支线设站5个，包括临城站、山家林站、邹坞站、齐村站、枣庄站。兖济支线设有兖州府、孙氏店和济宁州3站，柳泉支线设有柳泉和贾汪2站。临城、兖州府和柳泉3站为干、支线共有。
