张四维虽然是出身商贾之家，但是他也不敢说将四民制度予以推翻，大明的这些官员们都是士这个阶层来的，朝廷选拔官吏，也都是从士绅中选拔的，不夸张的说，与士大夫治天下，并不是一句虚言，朱载坖要宣布四民平等，在他们看来，无异于是大逆不道的，所以连张四维等人都不敢支持朱载坖。
申时行也说道：“陛下，四民之制，自管子起，今已千年，岂可遽而废之？陛下其慎之！”
朱载坖听了之后说道：“是啊，天子重英豪，文章教尔曹；万般皆下品，唯有读书高。卿等以为然否？”
重臣们虽然没有明确回应朱载坖，但是朱载坖很清楚，他们心里肯定是这么想的，文华殿内的气氛一时之间有些凝重了，君臣之臣的对抗和分歧显而易见，太子朱翊釴连忙出来说道：“父皇，而今之事，还是要解决工商赋税的问题，其他之事，容后再议！”
太子出来打了一个圆场，张四维赶紧说道：“陛下，太子所言极是，赋税之事，干系甚大，宜先处之！”
朱载坖看了太子一眼，这才说道：“此事确实是要务，首辅要多用心，然后条陈上疏以闻，朕今日乏了，卿等先回去吧！”
朱载坖下了逐客令，臣子们本应该行礼离开，但是东阁大学士王锡爵却上前一步说道：“陛下，皇长孙现今正是受教之时，陛下却使皇长孙沉溺武事，非教养之道也！”
朱载坖突然起身，走到王锡爵面前，盯着他一字一句的说道：“王学士，此事卿不当与闻！”
面对朱载坖突然的发怒，重臣们赶紧行礼之后离开了，回到文渊阁内，张四维对王锡爵说道：“元驭，今日冒失了！”
王锡爵此时也有些后怕的说道：“元辅教训的是！”
张四维说道：“陛下是何等英察之主啊！陛下圣虑远大，非我等所能及也，有些事情，我等不插手的为好。”张四维隐晦的敲打了王锡爵之后，阁臣们开始处理政务了。
在臣子们走后，朱载坖和太子两人在文渊阁内，朱载坖笑着说道：“太子现在确实是长进了！”朱载坖说的是刚才朱翊釴及时将话题岔开，否则的话，就可能真的出现君臣对峙的局面，这对于朱载坖来说，并不是一件好事，毕竟朱载坖还是需要这些重臣们处理政务的，要是内阁和部院重臣们都和朱载坖过不去了，那朱载坖会很痛苦的。
朱载坖问道：“太子怎么看此事？”朱载坖问的是有关四民平等的事情，朱翊釴思考了一下说道：“父皇，四民平等，确是善政，但是读书人未必愿意啊！”
这点朱翊釴确实说对了，对于四民平等，最大的阻力就是朝廷上的官员们和这些读书人，他们认为自己是要高人一等的，毕竟即便是天子，也要和他们共治天下，没有这些官僚们的协助，朝廷就无法运转，这点朱载坖是很清楚的，他们是肯定要维护四民制度的，他们其实维护的是他们的自己的利益。
四民制度其实就是所谓礼法的一个重要部分，同时分类的方式将士绅阶层置于所谓四民的最上方，这样就以户籍分类的方式将士绅的特权予以承认了，在朝廷的行政当中亦是如此，所谓刑不上大夫，礼不下庶人，都是四民制度的体现，这点朱载坖是很清楚，这种制度当然有利有弊，但是现在来看，显然是弊大于利了，这种四民制度极大的束缚了大明百姓的创造力。不利于技术进步，所以朱载坖才动了将之废除的想法。
但是朱载坖才刚刚提出这个事情，阁部重臣们的反应就如此之大，可见此事的难做，朱翊釴当然也知道这件事情的难度，他对朱载坖说道：“父皇，现在提此事，是不是过于急了。”
听了朱翊釴的话，朱载坖只能苦笑了，朱载坖指着自己已经斑白的发鬓说道：“急？朕当然是急了，朕还有多少时间，不急行吗？”
朱翊釴赶紧说道：“父皇何至于此啊！”
朱载坖只是笑了笑，然后对朱翊釴说道：“近日有关皇长孙讲学一事的奏疏，送朕这里来，朕要看看他们都说了什么。”
朱载坖回到西苑之后，司礼监赶紧将这些奏疏送达朱载坖案头，朱载坖仔细看了看这些官员们的上疏，其中一些人的言辞颇为激烈，如刑部云南司员外郎姜应鳞、吏部验封司员外郎沈璟、刑部督捕主事孙如法等人的上疏极为激烈，他们认为朱载坖不重视皇长孙的教育，就是对大明不负责任，同时他们认为朱载坖让皇长孙接触文思院的工匠和武将是亲近奸佞，要朱载坖立即纠正此事。
朱载坖看了他们的奏疏之后，不仅冷笑了起来，合着大明除了他们是忠臣之外，其余的人都是奸佞，对于这种无端扣帽子的行为，朱载坖一向是十分警惕并且予以严惩了，看了这些奏疏之后，朱载坖当即命令将这三人下诏狱严审，要让他们交代幕后主使出来。
除此之外，对于上疏言辞激烈的官员，朱载坖分别予以降调极边杂职、编管、罚俸等不同程度的处罚，因此事受到惩处的官员超过五十人，在整个隆庆朝，朱载坖也没有如此大规模的处分官员，首辅张四维、次辅申时行等阁臣当即上疏申救，但是被朱载坖所驳回，同时其余上疏申救的官员也被朱载坖所处分。
而且朱载坖还拒绝接见重臣，深居西苑，即便是内阁辅臣请求召见也被朱载坖所拒绝了，无奈之下，左都御史杨继盛到西苑请求召见，他是朱载坖在潜邸时的旧臣，和朱载坖关系非同寻常，所以即便是朱载坖不见其他重臣，但是杨继盛请求召见，朱载坖还是在西苑无逸殿召见了他。
杨继盛行礼之后，朱载坖说道：“杨卿，这里是先帝当年议政之所！”