时曹操正任司空，听到他的名声后，派人召他到府中任职。司马懿时年22岁，正血气方刚，满怀正义，知曹操为一代奸雄，又嫌曹操出身低微，耻为曹操手下，便借口自己患有风痹病，不能起居，婉言谢绝征召。曹操怀疑司马懿有意推托，夜间派刺客去探听虚实。来人把刀架在司马懿的脖子上，作出要刺杀他的样子，但司马懿躺在那里，瞪着两眼，一动不动，像真的风痹病人一样。
建安十三年（208年），曹操为汉丞相后，用强制手段，辟司马懿为文学掾。使者临行，曹操交代说：“若复盘桓，便收之”（《晋书宣帝纪》）。就是说司马懿再装病不来，就解决了他。司马懿这才害怕了，只得就职。
此后，司马懿“每与大谋，辄有奇策”。先后升任黄门侍郎、议郎、丞相东曹属、丞相主簿等职。曹操为了恢复北方经济，解决军粮问题，曾苦思良策，司马懿时任丞相军司马，向曹操建议推行包括民屯、军屯两类的屯田制度。曹操行之，结果曹操所统治区域，一时“务农积谷，国用丰赡”。以后成为曹魏制度，并设有专门的屯田官。这也是三国时期唯魏独强的原因之一。
司马懿是一名战略家，自随曹操出战起，他在军事上提出过许多重大的建议，这些建议均显示了他战略上的深谋远虑，有些建议的实施甚至对当时的天下形势发生了重大的影响。如，他曾提醒曹操，说，荆州刺史胡修为人粗暴，南乡太守傅方为人骄奢，都不应该让他们驻守边防，但曹操未予重视。后来刘备袭取汉中，攻占房陵、上庸后，关羽也北攻新野、襄阳，水淹于禁七军，蜀汉一时“威震华夏”。胡、傅二人果然乘机献城降蜀。许都危在旦夕，曹操为避关羽锋芒，一度准备迁都河北。司马懿和蒋济及时劝阻，让他利用孙、刘争夺荆州的矛盾，联络孙权出兵攻取荆州，魏则出兵取汉中、秦川，使刘备首尾不能相顾。由于司马懿的这一建议，于是才有吕蒙偷袭荆州、关羽败走麦城、吴蜀彝陵之战等后事。
司马懿的这次伐蜀主张，不仅挫败了关羽的强大攻势，解除了樊城之围，而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。更重要的是破坏了孙、刘联盟，蜀国从此势弱，彻底改变了当时的战略格局，掌握了三国的主动权。显示了他作为年轻将领的杰出才能和作为军事战略家的博大胸怀。
曹操用人的原则，具有“既重才，又忌才；既用人，又疑人”的双重性。加之曹操有识人之明，认为司马懿为人，“内忌而外宽，猜忌多权变”。而司马懿的相貌，严整威严，长着一双像鹰一样犀利的眼睛，曹操知其“有雄豪志”（《晋书宣帝纪》）。因此，他对司马懿的猜疑，始终不能释怀。
当他听说司马懿有狼顾之相时，就把他召来，先让他朝前走，然后让他回头。司马懿居然能脸朝后旋转90度而身不动。相书上说，有狼顾之相的人，不是奸臣就是国贼。曹操又曾做梦，梦见三马同槽，很犯忌讳，心中始终有疙瘩郁结。就对曹丕说：“司马懿非人臣也，必预汝家事。”于是便想趁早把司马懿解决掉，只是由于曹操太惜才了，迟疑不决，再加上曹丕跟司马懿的关系很铁，多有美言，司马懿才得以幸免于难。
司马懿为曹操所深忌，只能勤勤恳恳地工作，韬光养晦，明哲保身。“于是勤于吏职，夜以忘寝，至于刍牧之间，悉皆临履，由是魏武意遂安”。
曹操进封魏王后，立曹丕为太子，司马懿升任太子中庶子，与陈群、吴质、朱铄同列为曹丕的“四友”。为曹丕所信任和倚重，是曹丕智囊团的关键人物。
建安二十五年（220年），曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。不久，曹丕威逼汉献帝禅位，想急不可待地受诏时，司马懿建议曹丕谦辞推脱，以示谦卑处下，使曹丕在很大程度上免除天下怨谤，争取了人心，从而巩固了魏国的社会根基。由于司马懿为曹丕“篡汉”出了大力，所以曹丕代汉后，司马懿受封河津亭侯，任丞相府长史，又转为督军御史中丞。参与军事，为曹丕屡出奇谋。
黄初七年（226年）5月，曹丕去世。明帝曹叡继位，遗诏司马懿为顾命大臣，迁抚军大将军，统领禁军，辅佐明帝。改封司马懿为舞阳侯。孙权得知魏文帝去世，于8月出兵攻魏，被司马懿击败，并斩杀吴将张霸。
其后，诸葛亮六出祁山（今甘肃东南部山地），兴师伐魏，明帝对司马懿说：“西方有事，非君莫可付者。”其信任如此。司马懿为人机警而富于智谋，雄豪豁达，心机莫测，狡诈异常，“坚壁拒守，以逸待劳”。诸葛亮深知司马懿的厉害，便派人给他送来“巾帼妇人之饰”羞辱他，激他出战。但司马懿宁可穿上对方送来的女人服装，甘心受辱，也不轻易出战。表面上是弱者所为，但正是司马懿示弱于对方，使诸葛亮这个咄咄逼人的强者，始终处在无可奈何的焦虑中，始终占不到上风，最后壮志未酬，病逝于五丈原。
强者最后反倒为弱者所败。
司马懿笑到了最后。
由此可见，司马懿在带兵作战方面，远比诸葛亮要厉害得多，是历史上一个很有军事才能的谋略家，城府很深，连曹操也看不透他。只是由于后人对诸葛亮的神化，司马懿才成了反面人物。公正而言，三国英雄，唯曹操、司马懿而已。
由于司马懿长期带兵在秦川跟蜀国打仗，魏国兵权大部分落在他手里。明帝提升他为太尉后，他实际上就成了魏国的军事统帅。
景初元年（237年），原魏辽东太守公孙渊叛魏自立为燕王，置列百官，定都襄平（今辽宁辽阳）。魏明帝召司马懿回京，于238年正月，命他率兵讨伐。
司马懿军至辽水，采用声东击西之计，先在南线多张旗帜，佯攻围堑，吸引敌军主力，而以主力隐蔽渡过辽水，逼近敌营。接着，不攻敌营，却挥师直取公孙渊根据地襄平。公孙渊战死，辽东国灭。粉碎了公孙渊的分裂势力，维护了已经形成的统一局面。在原定的一年期限内，即胜利班师。
当时司马懿军中有的士兵衣单寒冷，向他乞要襦衣，司马懿不给。对人说：“襦衣是国家的，我作臣子的，不能赏与别人，换取感激。”他十分注意避嫌，以至于宁愿士兵受冻也不自作主张发放冬衣。
明帝派使者到蓟去犒劳部队，增司马懿食邑昆阳等二县。
本来朝廷让他班师后直接到关中去，但当他走到白屋时，有诏书召他火速进京，三日之间，诏书五至。明帝手书说：“间侧息望到，到便直排阁入，视吾面”。就是要他赶紧回京，直接入宫，面见明帝，有要事相托。
据野史记载，司马懿攻破襄平后，曾梦见明帝枕在他的膝上，说：“视吾面。”他即抬头，看见明帝面有异色，疑天子有疾。如今一见诏书有此语，大为惊讶。于是昼夜兼程，400多里，一夕而至。径入嘉福殿内，流着眼泪，探问明帝病情。明帝拉着他的手，郑重地把太子齐王托孤给他，说：“我将不久于人世，能见到你，我也没有什么遗憾了，现将后事托付于你。望你和曹爽共同辅佐太子。”当天，明帝即去世。
时为景初三年（239年）正月。太子齐王曹芳柩前继位，是为魏少帝，司马懿、曹爽同受托孤辅政。
