王霸少立清節，西漢末年王莽篡位，王霸隱居不仕。漢光武帝時應徵至尚書，他對皇帝稱名，不稱臣。後託病歸鄉，隱居如初，連徵不起。王霸與同郡令孤子伯為友，後來令孤子伯為楚相，而令孤子伯的兒子為郡功曹。王霸隱居，見令孤子伯的兒子衣服鮮艷，自己兒子蓬頭垢面，慨然有感，悵然不樂。王霸之妻勸慰：「君少修清節，不顧榮祿。今子伯之貴孰與君之高？奈何忘宿志而慚兒女子乎！」，王霸遂專心隱逸。