鄭均年少時喜歡黃、老之書。兄長為縣吏，經常收受禮品，多次勸諫，兄長不聽。後來離家為佣工，一年多，得錢帛，給了他兄長。說：「錢花完了可以再掙，做官貪贓，一輩子就完了。」兄長被他的話打動，于是開始廉潔。鄭均好義篤實，養寡嫂孤兒，十分盡心。常稱病在家，不接受州郡闢召。郡將一定請他去，讓縣令把他騙去，去了以後，不肯屈服。鄭均于是客居濮陽。

漢章帝建初三年（78年），司徒鮑昱徵辟他，後來推舉他為直言，鄭均都沒有去。建初六年（81年），公車特徵。再任尚書，多次進獻忠言，漢章帝敬重他。後來因病請求退休，拜議郎，告老歸鄉，自稱病重，漢章帝賜給他衣冠。

元和元年（84年），漢章帝下詔通告廬江郡太守、東平國相：「議郎鄭均，嚴格自律安貧，恭儉守節嚴整，前在朝中掌管機密，因病致仕，固守正道，年老不變。之前安邑令毛義，行為謙讓，徵召他以病相辭，敦厚淳潔，東方州郡稱他仁義。書經說：『章厥有常，吉哉！』賞賜鄭均、毛義各一千斛谷，每年八月派長吏慰問，賜給羊和酒，以此表彰她們傑出的品行。」第二年，漢章帝東巡過任城，親臨鄭均家，賜給他尚書的俸祿直到去世，故當時人號稱他為「白衣尚書」。永元年間，在家中去世。