此后，薛懷義厭倦入宮陪侍武則天，多居白馬寺，并廣度年輕力壯之人為僧，每天也不在寺里念經，跑到街上去，騎著高頭大馬，在洛陽城里橫沖直撞，路上行人紛紛躲避。誰要是躲得不夠及時，馬上就被他們打得頭破血流。薛懷義對官員也挺不客氣的，當時有一們御史看不過他的所作所為，多次依法彈劾他，于是薛懷義一怒之下，把這人堵在路上，打了個半死。這類為非做歹的事情干多了……

不過嘛，薛懷義這樣作死，最后的結局自然也好不到哪兒去。武則天成為皇帝后，身邊的男寵逐漸多了起來，慢慢移愛于一個叫沈南璆的人了。為此，薛懷義心懷怨恨，在第二天正月十六的夜里，火燒天堂。火借風勢，迅速蔓延，很快天堂就成了一片火海。

當初建天堂的時候，所費以萬計，府藏為之枯竭，如今只剩下一片錦灰堆。大火又繼續(xù)蔓延，把明堂也給點著了。烈火熊熊，把神都洛陽照耀得如同白晝。這一場大火一直燒至天明，明堂和天堂一起化為灰燼。而此舉，也為薛懷義惹來了殺身之禍。

就在火燒明堂半個多月之后，薛懷義被殺。而關于薛懷義的死因，史書上記載了三種說法。一說是武則天的侄子武攸寧率人暗殺，二則是被太平公主暗殺，三是武則天下令明殺。但不管哪個結局，反正薛懷義死的都是挺慘的。