不久，李德林又在朝廷的一项举措上与杨坚产生矛盾，终於导致二人的关系彻底恶化。
这件事是关於隋朝的基层政权建设问题。
从春秋战国起，中国就有很严密的乡里制度。秦汉时，百家为一里，十里为一亭，十亭为一乡。至北魏、北周时，基层组织更趋严密，“五家立一邻长，五邻立一里长，五里立一党长”。
（《魏书》卷一一〇）尽管基层官员拥有行政和司法权，可以有效地将政府的统治触角延伸到每家每户，但弊端也是显而易见的：这些基层官员跟当地百姓都是乡党宗亲，彼此身上有几根毛都是数得着的，一旦百姓之间发生纠纷，请托徇私在所难免，要保证司法审理的客观公正几乎是不可能的。因此，隋朝开国时，曾一度取消了基层组织的行政和司法权。
但是，到了开皇九年二月，随着陈朝的平定和隋朝统治疆域的急剧扩大，加强中央政府在基层的控制力又成了势在必行之举。苏威为此上疏杨坚，建议每五百户设一个乡正（乡长），把行政权和司法权重新下放到地方。而李德林却对此坚决反对。他认为，原本取消基层的行政和司法权，就是因为乡里之间不是亲人就是朋友，执法很难公平，如今又设置乡正，令其专管五百家，势必为害更烈；更何况，有些边荒小县，一县人口都不满五百家，此令若行，岂不是两个县要共管一个乡？
可是，杨坚还是不顾李德林的反对，采纳了苏威的建议，随即下诏，命一百家为里，设里正一人；五百家为乡，设乡正一人。
开皇十年四月，也就是“酒店用地”事件刚过去没多久，虞庆则等人就奉杨坚之命，前往关东（函谷关以东）各地巡视，回朝后异口同声地奏报，称各地乡长在审理诉讼时普遍偏袒亲友，公开收受贿赂，以致老百姓怨声载道。
杨坚一看，赶紧下令，准备再度撤销里正、乡正的设置。
朝廷政策如此朝令夕改，让李德林深感不妥。他马上在朝会上提出异议：“当初设立乡正，我就坚决反对，如今刚一实施，就又马上废止，如此政令不一，实在不符合一个帝王立法治国的本意。臣恳请陛下，从今往后，百官凡是有轻率更改律令者，即以军法从事。否则的话，民间必然无所适从。”杨坚一听，顿时勃然大怒，指着李德林的鼻子大骂：“你好大的胆子，居然敢把朕比做王莽？！”王莽篡汉后，实施了一系列制度改革，本欲强国富民，不料却因朝令夕改、举措乖张而导致经济崩溃、民怨沸腾，最终身死国灭。平心而论，李德林说杨坚朝令夕改，不过是就事论事而已，并没有把他比做亡国之君的意思。可是说者无心，听者有意，杨坚这段时间本来就对李德林很不爽，现在又被他当众顶撞，自然是气不打一处来，所以才会有如此过激的反应。
事情闹到这一步，君臣之间就算是彻底撕破脸了。紧接着，又发生了一件小事，终於成了压垮李德林的最后一根稻草。
这件事与李德林过世的父亲有关。
在古代，朝廷为了提高功臣待遇，通常会为其父祖追赠官爵，但所赠官爵高低通常要参考其生前的职务。李德林身为开国功臣，当然也能享受这个待遇。不过，他父亲生前，只是一个区区的校书郎（皇家图书院校勘官，正九品），即便有所追赠，官爵显然也不会高。李德林为了显扬其父，就谎称其生前官职是太尉谘议（太尉府首席参议官，从六品），企图获取朝廷更高的赠官。
李德林在朝中的人际关系本来就不好，如此弄虚作假自然逃不过政敌的眼睛。很快，就有好几个朝臣同时把他给告发了。
至此，杨坚新帐旧帐一起算，把李德林叫到跟前，毫不客气地历数其罪：“你身为内史令，负责掌管朝廷的最高机密，可是最近，朕都没让你参与决策，原因就是你的心胸太过狭窄，难以和同僚共事，这些你自己都清楚吧？还有，你欺上瞒下，骗取卫国酒店；妄加父官，骗取朝廷追赠。所有这些，都让朕极为愤慨，可朕还是一再容忍，希望你能改过。但是现在，朕已无法容你，只能给你一个州安顿了。”当天，杨坚便下诏，宣布将李德林贬为湖州（今河南唐河县）刺史。
李德林直到此刻才如梦初醒，只好叩首谢罪，说：“臣不敢奢望再担任内史令一职，只求能留在京师，就算给臣一个荣誉官职也没关系。”然而，杨坚不为所动，还是执意把他贬出了朝廷。贬谪不久，抑郁寡欢的李德林便死於地方刺史任上，终年六十一岁。
杨坚的猜忌，不仅表现在他与功臣的关系上，也体现在他执政的方方面面。
由於杨坚是以篡逆手段上位的，因此，他一方面对每个人疑心重重，总感觉臣子们心里都有各自的小九九，会不利於他的统治；另一方面，他又对自己的智慧和谋略颇为自负，总以为自己在统驭臣下的时候，完全可以做到明察秋毫。是故，杨坚经常会派遣左右近臣充当秘密警察，暗中监视文武百官的一举一动，一旦发现谁有问题，立马重重治罪。
为了打击官员贪污受贿，挖出一切潜在的腐败分子，杨坚还暗中派人向一些职能部门的官员行贿，一旦有人中招，不管受贿金额大小，立刻将其砍头。
（据黄仁宇先生称，当今美国政府也有类似做法，称为“敲诈行动”——sting operations）。
此外，杨坚在朝会上处理政务时，若发现哪个朝臣有问题，便会不顾司法程序，当场命行刑官将其抓起来暴打，有时候一天内要连打三四个。由於杨坚命人制作的刑杖比普通的粗，所以不少人禁不住打，当场毙命，以致行刑官都有些手软。有一次，杨坚发现行刑官在打人时下手不够重，二话不说就把行刑官砍了。为此，高熲等人频频规劝，说：“朝堂非杀人之所，殿廷非决罚之地。”可杨坚根本听不进去。
高熲铁定了心要改变杨坚这个坏习惯，所以毫不气馁，过后便召集文武百官一起上殿，集体请求杨坚治罪。杨坚这才意识到问题的严重性，就问负责行刑的禁军大将田元：“我的刑杖是不是太粗了？”田元答：“是太粗。”杨坚问他粗到什么程度。田元举起大拇指说：“陛下的刑杖，就跟臣的大拇指一样粗，打人三十下，不异於普通刑杖数百下，所以很多人会当场毙命。”杨坚听了，脸色变得十分难看，不过还是让田元把刑杖撤了。此后，凡是再发现朝臣有罪当罚，就没有在朝堂动手了，而是老老实实走司法程序，交给相关部门去处理。
然而，有道是江山易改，本性难移，杨坚忍了没多久，就再次发作了。
有一次，一个叫李君才的低级军官入朝奏事，斗胆说了一句话：“皇上对高熲的宠信有些过分！”杨坚立刻火冒三丈，命人杖打李君才，可此时殿中已无刑杖，他就下令用皮鞭，当众将李君才活活抽死。
此后百官上朝，赫然发现那根粗大的刑杖又放回了原处。
过了几天，杨坚又因某事发火，又打算在朝堂上打人。兵部侍郎冯基看不过眼，一再劝谏。杨坚不听，执意把那人打死了。
事后，虽然杨坚有些后悔，对冯基好言慰勉了一番，还责怪百官没有像冯基那样及时谏诤，但是，纵观杨坚在位的二十多年，其猜忌、多疑、刻薄的性情却几乎从未改变过。这，不能不说是杨坚身上令人遗憾的严重缺陷。作为一代雄主，杨坚统一海内的历史功绩不可谓不大，他在位期间的国力也不可谓不强，但他绝不会料到，隋朝会在他身后短短十几年间就分崩离析、轰然崩塌。尽管隋朝覆亡的原因很多，但杨坚因猜忌而废黜太子杨勇、改立次子杨广，却未尝不是导致隋朝二世而亡的主要原因之一。