早在2400多年前，吴国为北伐齐国争霸中原，在江苏扬州附近开凿了一条引长江水入淮的运河(称邗沟)，以后在这基础上不断向北向南发展、延长尤其经隋朝和元朝二次大规模的扩展和整治，基本上完成了今日京杭运河的规模.京杭运河的许多河段是利用原来的天然河流和湖泊，部分河段是人工开挖的，运河水流主要从沟通的天然河道中得到补给.
到了隋炀帝的时候，开始进行大规模的修建大运河.隋炀帝修建大运河的工程分4段进行.
公元605年4月14日(隋大业元年三月二十一日)隋炀帝“命尚书右丞皇甫议发河南、淮北诸郡民，前后百余万，开通济渠”.通济渠起于洛阳城，西引榖(即涧水)、洛水入黄河;又从极清(今河南荥阳县把水镇东北周黄河水向东到洋州(今河南开封)，再顺汴水经商丘，折向东南，接通蕲水，经皖北至淮阴入淮水.第一段工程沟通了洛水、黄河和淮河.
同年，隋炀帝又征发淮南民十几万开邢沟.
608年2月，再次下“诏发河北诸军百余万穿永济渠，引沁水南达于河，北通深郡”.
611年元月，隋炀帝“敕穿江南河油京日至余杭，800余里”.这段工程的告竣，全长4000多里的大运河贯通，成为中国南北交通的大动脉.
为了控制全国，并使江南的物资能较方便地运到北方来，同时自己又能轻松地到各地游玩，隋炀帝修通了五千余里的大运河。
修运河分几个步骤：
(1)广通渠，从长安至潼关东通黄河。以渭水为主要水源。
(2)通济渠，从洛阳沟通黄、淮两大河流的水运。
(3)山阳渎，北起淮水南岸的山阳(今江苏淮安市淮安区)，径直向南，到江北的江都(今扬州市)西南接长江。
(4)永济渠，在黄河以北。从洛阳对岸的沁河口向北，直通涿郡(今北京市境)。
隋炀帝在位十四年，四出巡游就达十一年。有了运河，他光江都就巡游了三次，为此建造了龙舟及各种各样的船只数万艘。一路上，隋炀帝和萧皇后分别乘着两艘四层高的大龙船，船上装饰得像宫殿一样金碧辉煌;接着是皇妃宫女、王公贵族、文武百官分乘几千艘彩船;最后是卫兵乘的及装载后勤物品的几千艘大船。这庞大的船队在运河里排开，前后竟有二百里长。
八万多个民工，专门为船队拉纤。船队在运河里行驶，岸边有骑兵护送;船队停下来，当地的州县官员就逼着百姓办酒席“献食”。
隋炀帝还从陆路到北方去巡游，为此开凿了数千里驰道(供国君车马行驶的大道)。为了自己的安全，隋炀帝征发一百万民工修筑长城，在五十万将士的护卫下在北方边境巡行了一圈。
隋炀帝即位时，正是隋朝蒸蒸日上之际。隋炀帝妒贤嫉能，滥杀无辜，每年都要役使几百万民工，人民不堪负担，只有起来反抗了。隋炀帝的倒行逆施，很快就将隋王朝葬送掉，自己也在江都被禁军将领宇文化及杀死。
