同僚闻而笑道：先生连州将都无法说服，怎能说动万乘君王哉？
王伯齐叹道：是因未遇知己，道不同不相为谋之故也。
弹指一挥间，二十余年光阴已过。建武二十七年，王伯齐被郡中举为孝廉。
光武帝亲自召见诸孝廉，深感王伯齐与众不同；闻说其便是当年据坞自保，屡败赤眉及铜马军之第五伦，由是命复原名，补任淮阳国医工长，随淮阳王刘延到其封国。
两年之后，第五伦随从淮阳王至京，趁天子接见之机，对奏为政之道。
刘秀大悦，与第五伦一直谈到天黑。因见第五伦禀性耿介，出言无忌，便与其玩笑道：我闻爱卿年轻时曾殴打岳父，且不让兄长一起吃饭，可有此事乎？
第五伦正色答道：此乃谬传，陛下休信。臣三次娶妻，皆无岳父在世。少年时曾遭饥荒之苦，实在不敢随便请人吃饭，并非不容于兄长也。
刘秀大笑，几乎喷饭。翌日便任命第五伦为扶夷县长，还未到任，又升为会稽太守。
第五伦身为二千石高级官员，仍亲自锄草喂马，妻子亦亲自下炊作饭。所得俸禄，只留下一个月口粮，其余都低价卖给贫苦百姓。
会稽风俗，多滥设祀庙，喜欢占卜，民众常杀牛祭神，百姓财产因此困乏。彼地凡有食用祭祀牛肉者，发病将死时，必先作牛鸣之声；先后几任郡守，都不敢禁止杀牛祭祀。
第五伦到任以后，给各属县发布文书，晓谕百姓：凡巫祝依托鬼神，以诈术恐吓愚民者，都要捉拿问罪；胡乱杀牛者，所属官吏都须处罚。
由是民众恐惧，巫祝诅咒。但以后巫祝及杀牛祭神之事便逐渐绝灭，百姓得以安定。
永平五年，第五伦因触犯法令，被征召入朝问罪。
郡中老少百姓攀住车辕，拉扯马辔，啼哭跟随，至车驾每天只能前行数里，无法赶路。第五伦便佯住亭舍，暗中乘船离去。众人知道后，又都前来追赶。
及至京师洛阳，第五伦被送到廷尉，官民到京城上书求情者有千余人。
当时汉明帝正审理梁松飞书诽谤朝廷之案，朝中权贵也有多人为梁松申冤。明帝深为不安，遂下诏给公车司马令，命休再接收为梁松及第五伦申诉上书。