在后幾年里，漢元帝十分喜好儒術(shù)文辭，尤喜愛《詩經(jīng)》，曾多次親自聽匡衡講《詩》，對匡衡的才學(xué)十分贊賞，因此任匡衡為御史大夫。建昭三年(公元前36年)丞相韋玄成病逝，匡衡又代為丞相，封樂安侯，輔佐皇帝，總理全國政務(wù)?？锖饪伤闶且蛎鹘?jīng)而位極人臣的典型了。

匡衡任職期間，多次上疏陳述自己對朝廷政策的意見，陳述治國之道并經(jīng)常參與研究討論國家大事，按照經(jīng)典予以答對，言合法義，博得元帝信任。每當(dāng)朝廷大臣討論政務(wù)時，匡衡總是引《詩經(jīng)》為據(jù)，認(rèn)為“六經(jīng)者，圣人所以統(tǒng)天地之心，著善惡之歸，明吉兇之分，通人道之意，使不悖于其本性者也。故審六經(jīng)之指，則人天之望可得而和，草木昆蟲可得而育，此永永不易之道也。”匡衡的主張得到元帝及成帝的支持，這與從漢朝中期就開始興起的獨尊儒術(shù)，推重經(jīng)學(xué)，微言大義的社會風(fēng)尚是分不開的，實際是漢朝統(tǒng)治者用以統(tǒng)治人民的一種手段。

元帝后期時，宦官石顯為中書令，他結(jié)黨營私，把持朝政，慫恿元帝加重賦役，剝削人民，但因有皇帝的寵幸，沒人敢觸犯他。成帝即位后，匡衡便上疏彈劾石顯，列舉其以前所犯罪惡，并糾舉他的黨羽，這是匡衡所做的最后一件鏟除奸佞，為漢朝廷盡忠的事情。不久，匡衡與同僚間漸有離隙，被人彈劾，貶為庶民，返回故里，不幾年，病死于家鄉(xiāng)。

元帝封其為安樂侯，其侯國食封土地本為三十一萬畝，匡衡利用郡圖之誤，非法擴大食封土地四萬多畝。成帝時，司隸校尉駿等告其“專地盜土”（指擴大國界），被免為庶人。