1259年，蒙哥汗决心彻底解决南宋，忽必烈重获起用，负责指挥东路军，攻打鄂州。当双方正在激战时，从四川传来消息：蒙哥汗在钓鱼城战死。面对这一突如其来的变故，忽必烈在几经犹豫后，决定从鄂州战场抽身。在与南宋权臣贾似道议和后，忽必烈率大军急速北上，开始了对蒙古大汗宝座的角逐。
1260年三月初，在部分蒙古宗王、中原汉地官僚士大夫的拥戴下，忽必烈于开平正式登上蒙古大汗的宝座，并首次采用汉族王朝的年号——中统纪元。忽必烈的登基，标志着一个新时代的来临。忽必烈的即位，并不是一帆风顺的。几乎就在他即位的同时，弟弟阿里不哥也在哈剌和林附近被拥戴为蒙古大汗。
作为幼子，阿里不哥是拖雷夫妇遗产的合法继承者，掌握着父母留下的大部分蒙古部众与军队。蒙哥出征南宋时，阿里不哥奉命留守和林，牢牢控制了蒙古政权的政治中心。蒙哥死后，阿里不哥得到蒙哥诸子及蒙古汗廷大臣的普遍拥护，以蒙哥合法继承者的面目出现。
相反，忽必烈数年前就曾因与蒙哥发生冲突而赋闲，只是因蒙古对南宋战事吃紧才重获起用。他拒绝奔赴漠北参加选举蒙古大汗的忽里台，在开平另起炉灶，偏离了蒙古本土选举大汗的政治传统，这对维护他正统大汗的形象是非常不利的。
面对阿里不哥的挑战，忽必烈首先争取到另一个弟弟旭烈兀的支持。此时，旭烈兀正主持蒙古第三次西征，前锋已逼近埃及。得知蒙哥去世后，他迅速撤军东归，途中遇到忽必烈的来使，承认他在阿姆河以西的权利。旭烈兀于是留在当地，建立起承认忽必烈宗主地位的伊利汗国。
蒙哥去世后留下的四川蒙古军将领，大多倾向拥护阿里不哥。为了斩断阿里不哥的右臂，忽必烈紧急派遣廉希宪等人赶赴陕西，设计杀死拥护阿里不哥的蒙古将领。驻守六盘山的蒙古军主帅浑都海被迫西撤，与阿里不哥南下接应的阿蓝答儿军会合。
中 统元年(1260年)九月，双方在甘州东删丹附近的耀碑谷发生激战，浑都海、阿蓝答儿战死，川陕地区被牢牢控制在忽必烈手中。漠北地区是双方的主战场。为了打赢这场战争，忽必烈几乎调动了他所有的精锐部队。战争进行得非常残酷，和林不仅得而复失，战火还一度烧到了大漠以南。中统二年(1261年)十一月，昔木土脑儿一战决定了阿里不哥失败的命运。此后，阿里不哥的处境每况愈下。四年后，走投无路的他被迫向忽必烈投降。
阿里不哥汗位之争，并非我们通常所理解的造反或叛乱。中国有句古话，“成者为王败者寇”。阿里不哥归降时，忽必烈曾得意地问过他们之间到底谁对谁错，阿里不哥回答说：“从前我对，现在你对。”这也可算作他对那句中国古话所作的蒙古式阐释吧。
忽 必烈没有想到的是，阿里不哥的投降，仅仅是噩梦的开始。海都，蒙古第二代大汗窝阔台的嫡孙，一直在关注忽必烈与阿里不哥的战争。阿里不哥投降后，他继之而起，扯起反对忽必烈的大旗。同阿里不哥相比，海都是一个更难对付的挑战者。他不仅复兴了衰落的窝阔台汗国，成功地控制了察合台汗国，甚至还将西面遥远的钦察汗国也联合到自己的旗帜下。
至元六年(1269年)春天，成吉思汗三子——术赤、察合台、窝阔台三系代表在塔剌思草原举行忽里台大会，成立了共同反对成吉思汗幼子——拖雷系领导下的元朝与伊利汗国的联盟。这次会议成为蒙古帝国最后走向分裂的标志。从此，忽必烈永无安宁之日，越来越多的蒙古宗王站出来向他发起挑战。
至 元二十四年(1287年)，正当忽必烈为对付海都等西北诸王殚精竭虑的时候，东道诸王首领乃颜，领导成吉思汗三位弟弟的后裔，在东北也发动了声势浩大的叛乱。年逾古稀的忽必烈，不得不亲自统率大军，前往平叛。虽然乃颜很快战败被杀，叛乱逐渐平息，但以海都为首的西北诸王之乱，直到忽必烈去世也没有得到解决。蒙古黄金家族成员向忽必烈发起的挑战，并非仅仅是在争夺蒙古大汗的宝座，双方在意识形态上也存在着严重分歧。塔剌思大会后，西北诸王曾派使臣入朝质问忽必烈：“本朝旧俗与汉法异，今留汉地，建都邑城郭，仪文制度，尊用汉法，何故？”这些蒙古宗王认为他们才是成吉思汗《大札撒》的恪守者，而忽必烈则是一个不折不扣的背离者。南宋灭亡标志着中国大一统局面的重现，同时又成为忽必烈新的征程的开始。日本、安南、占城、缅国、爪哇，一个个被列为他的征服目标。可惜的是，幸运之神不再眷顾忽必烈，他的好运就此发生逆转，上述征服行动一而再再而三地失利，而尤其使他难以释怀的是至元十八年(1281年)征日的惨败。
蒙古兴起时，日本正处于镰仓幕府的统治之下。忽必烈即位，顺利解决高丽问题后，即将目光投向日本。从至元三年至十年(1266—1273年)，忽必烈先后五次派出使臣赴日招抚，希望不战而屈人之兵，可均不得要领而回，于是引发了至元十一年(1274年)的第一次征日。此次征讨，大军虽于今九州福冈附近博多湾等处登陆，但因遭遇台风袭击，战船大部被毁，最后无功而返。
第一次征日并未使忽必烈灰心，此时他正密切关注南宋战事，于是继续派使臣前往日本招抚。这次幕府终于有了明确答复——将来使全部斩首。当消息传到大都时，忽必烈终于被激怒了，一个专门对付日本的机构——征东行省建立起来了。
至 元十八年五六月间，两支庞大的远征军驶向日本：一支从合浦(今韩国马山)出发，由第一次征日主将忻都率领，共四万人，战船九百艘;一支从庆元(今浙江宁波)出发，由南宋降将范文虎等率领，共十万人，战船三千五百艘。可到八月初，台风再显神威，彻底摧毁了元军战舰。十四万大军生还者不足五分之一。前近代世界历史上规模最大的海上远征就这样失败了。这是忽必烈一生从未遭受的惨败，使其颜面尽失，成为他心中永远的痛。
此后，忽必烈虽然又先后三次重组征东行省，但终其一生，再也不能派出一船一卒，因为庞大的征需已使百姓不堪重负，国家财政岌岌可危。日本则因两次抗元均借助了台风之力，炮制出所谓“神风”之说，太平洋战争后期出现的“神风突击队”即源于此。
中 国社会科学院历史研究所研究员刘晓认为：元朝第二次征日失败，原因很多。就日本而言，有了第一次战争经验后，幕府早已在九州沿海构筑了坚固的工事，各地精锐武士云集于此，以逸待劳，严阵以待。相比之下，元朝则显得准备不足，比如，当元军请求忽必烈为远征军配备足够的战马、火器时，忽必烈竟以海战不需此类装备为由予以回绝。对征日统帅，忽必烈也未慎重考虑，以致将领之间战前矛盾重重，无法协调统一指挥，在鹰岛迟滞达一月之久，失去了最佳战机。更为致命的是，因军事征调期限很严，远征军不少战舰系没有龙骨、只适合内河航行的平底船改建而成，日本九州海下考古发现已充分证实了这一点。以这样的战舰越海奔袭日本，会留下巨大隐患，在台风来袭时不堪一击。所以说，所谓的“神风”之威，实际上很大程度是由元朝自身原因造成的。
