此后，薛懷義厭倦入宮陪侍武則天，多居白馬寺，并廣度年輕力壯之人為僧，每天也不在寺里念經(jīng)，跑到街上去，騎著高頭大馬，在洛陽(yáng)城里橫沖直撞，路上行人紛紛躲避。誰(shuí)要是躲得不夠及時(shí)，馬上就被他們打得頭破血流。薛懷義對(duì)官員也挺不客氣的，當(dāng)時(shí)有一們御史看不過(guò)他的所作所為，多次依法彈劾他，于是薛懷義一怒之下，把這人堵在路上，打了個(gè)半死。這類為非做歹的事情干多了……

不過(guò)嘛，薛懷義這樣作死，最后的結(jié)局自然也好不到哪兒去。武則天成為皇帝后，身邊的男寵逐漸多了起來(lái)，慢慢移愛于一個(gè)叫沈南璆的人了。為此，薛懷義心懷怨恨，在第二天正月十六的夜里，火燒天堂?；鸾栾L(fēng)勢(shì)，迅速蔓延，很快天堂就成了一片火海。

當(dāng)初建天堂的時(shí)候，所費(fèi)以萬(wàn)計(jì)，府藏為之枯竭，如今只剩下一片錦灰堆。大火又繼續(xù)蔓延，把明堂也給點(diǎn)著了。烈火熊熊，把神都洛陽(yáng)照耀得如同白晝。這一場(chǎng)大火一直燒至天明，明堂和天堂一起化為灰燼。而此舉，也為薛懷義惹來(lái)了殺身之禍。

就在火燒明堂半個(gè)多月之后，薛懷義被殺。而關(guān)于薛懷義的死因，史書上記載了三種說(shuō)法。一說(shuō)是武則天的侄子武攸寧率人暗殺，二則是被太平公主暗殺，三是武則天下令明殺。但不管哪個(gè)結(jié)局，反正薛懷義死的都是挺慘的。