漢代匡家世代務(wù)農(nóng)，但匡衡卻十分好學(xué)，勤奮努力，由于家境貧寒，他不得不靠替人幫工以獲取讀書資用。他曾拜當(dāng)時的博士學(xué)習(xí)《詩經(jīng)》。由于勤奮學(xué)習(xí)，他對《詩》的理解十分獨(dú)特透徹，當(dāng)時儒學(xué)之士曾傳有“無說《詩》，匡鼎來?？镎f《詩》，解人頤”之語，是說聽匡衡解說《詩經(jīng)》，能使人眉頭舒展，心情舒暢，可見匡衡對《詩經(jīng)》理解之深。但匡衡的仕途在一開始卻并不平坦。根據(jù)漢朝規(guī)定，博士弟子掌握“六經(jīng)”中的一經(jīng)，即可通過考試獲得官職，考試得甲科者，可為郎中，得乙科者為太子舍人，得丙科者只能補(bǔ)文學(xué)掌故?？锖饩糯慰荚嚕胖辛吮?，被補(bǔ)為太原郡的文學(xué)卒史。但匡衡對《詩經(jīng)》理解之深，已為當(dāng)時經(jīng)學(xué)家們所推重，當(dāng)時身為太子的元帝也對其深有好感。
元帝即位后，任用匡衡為郎中，遷為博士，給事中。這時，京城長安一帶發(fā)生日蝕、地震等災(zāi)變，匡衡乘機(jī)上書，引用《詩經(jīng)》表明上行而下效的道理，勸元帝“減宮室之度，省靡麗之飾，考制度，修內(nèi)外，近忠正，遠(yuǎn)巧佞，”“任溫良之人，退刻薄之吏，顯潔白之士，昭無欲之路”（《漢書·匡衡傳》，下引同），然后再在百姓中推廣道德教化，弘揚(yáng)禮讓仁和之風(fēng)?？锖獾淖鄷玫皆鄣馁澷p，匡衡因此遷為光祿大夫、太子少傅。今山東省臨沂市蒼山縣新興鎮(zhèn)的“太子堂'村即“太子少傅”之意。
       漢元帝分喜好儒術(shù)文辭，尤喜愛《詩經(jīng)》，曾多次親自聽匡衡講《詩經(jīng)》，對匡衡的才學(xué)十分贊賞，因此任匡衡為御史大夫。建昭三年(公元前36年)丞相韋玄成病逝，匡衡又代為丞相，封樂安侯，輔佐皇帝，總理全國政務(wù)。匡衡可算是因明經(jīng)而位極人臣的典型了。
       匡衡任職期間，多次上疏陳述自己對朝廷政策的意見，陳述治國之道并經(jīng)常參與研究討論國家大事，按照經(jīng)典予以答對，言合法義，博得元帝信任。每當(dāng)朝廷大臣討論政務(wù)時，匡衡總是引《詩經(jīng)》為據(jù)，認(rèn)為“六經(jīng)者，圣人所以統(tǒng)天地之心，著善惡之歸，明吉兇之分，通人道之意，使不悖于其本性者也。故審六經(jīng)之指，則人天之望可得而和，草木昆蟲可得而育，此永永不易之道也?！笨锖獾闹鲝埖玫皆奂俺傻鄣闹С?，這與從漢朝中期就開始興起的獨(dú)尊儒術(shù)，推重經(jīng)學(xué)，微言大義的社會風(fēng)尚是分不開的，實(shí)際是漢朝統(tǒng)治者用以統(tǒng)治人民的一種手段。
       元帝后期時，宦官石顯為中書令，他結(jié)黨營私，把持朝政，慫恿元帝加重賦役，剝削人民，但因有皇帝的寵幸，沒人敢觸犯他。成帝即位后，匡衡便上疏彈劾石顯，列舉其以前所犯罪惡，并糾舉他的黨羽，這是匡衡所做的最后一件鏟除奸佞，為漢朝廷盡忠的事情。不久，匡衡與同僚間漸有離隙，被人彈劾，貶為庶民，返回故里，不幾年，病死于家鄉(xiāng)    元帝封其為安樂侯，其侯國食封土地本為三十一萬畝，匡衡利用郡圖之誤，非法擴(kuò)大食封土地四萬多畝。成帝時，司隸校尉駿等告其“專地盜土”（指擴(kuò)大國界），被免為庶人。