杨坚除了他的成就，还有很多的缺点，如喜怒无常，猜疑心重，容易受谗言所惑，时常命令左右窥视臣下，如有过失，则加重罪。这是文帝的短处，并且因而贻害子孙。
猜疑忠臣最典型的是高熲。杨坚的妻子独孤氏是北周重臣独孤信的女儿，而高熲的父亲则是独孤信的属下，还被赐姓独孤。所以，杨坚和高熲的关系也非同一般。而且后来在杨坚建立隋朝时，高熲立下了汗马功劳。杨坚称帝后，高熲被任命为尚书左仆射，为重臣之一。
杨坚对高熲极为信任，甚至把他当成自己的镜子，说他可以纠正自己的过错。如果有人进谗言诬陷高熲，杨坚从来都不相信，反而把告状的人治罪。高熲的官职已经无法再往上封了，可见在杨坚的心目中高熲的重要性。但在以后对于立太子的问题上，两个人发生了矛盾。
当时，杨坚对杨勇已经不满，打算立善于伪装，博得他和独孤皇后信赖的杨广为太子。但高熲并没有觉察杨坚的意思，极力反对废立太子。杨坚认为是高熲在为私利和他作对，因为高熲的女儿是杨勇的妻子，如果以后杨勇即位，那高熲作为岳父，其地位之高可想而知，说不定会效仿自己，取代隋朝自立为帝。因为杨坚是通过外戚这个身份夺取帝位的，所以对于高熲的位置的敏感性极强，但高熲却没猜到杨坚的这些想法。
杨坚后来借处理另一个大臣王世积时，将高熲牵连进去，但只是免了官职，废为平民，没有置他于死地。
杨坚在晚年的猜疑有时显得很可笑。他为了禁止官员贪赃受贿，竟派人去向官员行贿试探，如果有人敢收下，就立即处死。
有次，一个武官的衣服和佩剑不太整齐，杨坚就说是对他的不敬。他不是治武官的罪，而是说御史没有尽到责任，因为御史是专门监督官员的。所以，杨坚就处死了御史，谏议大夫站出来劝止杨坚，竟也搭上了性命。
早期立法有功劳，晚年坏法有过错，这就是杨坚的前后对照。杨坚晚年还大量使用法外酷刑，即杖刑，在宫廷里就经常放着棒子。后来，高熲劝说之后，杨坚曾经把杖棒废除，但他打人时嫌鞭子抽打力量太小，于是，又恢复了杖刑。
在中国古代社会，行刑一般要在秋天，叫顺应天意，即秋天叶子要落，气氛肃杀。而春天万物复苏，要生长了，这时严禁猎杀动物，不许破坏幼小树木。总起来说，就是春夏行赏，秋冬处罚。杨坚在晚年时却破坏了这种历来的习惯，在夏天时就要杀人，有大臣反对，他狡辩说，夏天时老天爷有雷电暴雨，这也是天意在发怒。
杨坚的迷信程度很重，不但信佛教、道教，还信阴阳五行、鬼怪、符瑞、土地神、山神，还有龙王，他都信。在北周时候，武帝曾经灭佛，杨坚这时则予以恢复，下令百姓可以自愿出家。杨坚在各地大建佛寺，正因如此，隋唐的佛教才兴盛起来。
杨坚文化程度不高，认为文化没用，学校也没必要。到了公元601年，杨坚便将郡县的学校全部废除，只留下了中央的国子监，供官员贵族子弟们读书。
