于是兩隊人馬互不相讓，就在宮門口僵持著。蘇良嗣勃然大怒，心想這該死的男寵簡直欠抽，隨即命手下把薛懷義抓過來，當場噼噼啪啪給了他幾十記耳光。薛懷義的嘍啰一見宰相發(fā)威，又見對方人多勢眾，都不敢輕舉妄動，只能眼睜睜看著他們的老大被抽。

薛懷義自從入宮以來，何曾受過此等羞辱?他又急又惱，當即捂著火辣辣的臉頰跑到武則天面前哭訴，口口聲聲要太后為他做主。武則天充滿愛憐地撫了撫薛懷義的臉頰，然后慢慢收回了手，淡淡地說了一句：“懷義你也不要太張揚了，以后進出都走北門吧，南門是百官和宰相出入的地方，你何苦去招惹他們?”

武則天對薛懷義的種種劣跡也心存不滿，她開始寵幸御醫(yī)沈南璆(qiú)，冷落薛懷義。薛懷義惱羞成怒，一把火燒了天堂、明堂。武則天不想擴大事態(tài)，命薛懷義重建明堂。新明堂下置九州鼎，北修功德堂，“其中大像高九百尺，鼻如千斛船，小指中容數(shù)十人開坐，夾纻以漆之”。

新明堂竣工時，武則天授意太平公主處置薛懷義。太平公主密選宮人有力者百余人埋伏于瑤光殿前，詔薛入宮進殿。薛懷義以為又得恩寵，揚揚自得，不承想未入殿門，便被宮人一擁而上，“執(zhí)之于瑤光殿樹下”，建昌王武攸寧率壯士將其活活打死，送到白馬寺焚尸造塔。