不到一年，上司就抓住了他的把柄，写了一本奏章弹劾他，说他 “生性狡猾，擅自篡改礼仪，表面上装出清正廉洁的样子，实际上却与恶势力勾结，导致地方上事端频发，百姓苦不堪言” 等等。皇帝看了龙颜大怒，立刻批示革除他的官职。吏部的文书一到，本府的官员们无不暗自高兴。贾雨村心里虽然十分羞愧恼恨，但表面上却一点怨恨的神色都没有，依旧谈笑自如。他交接完公事，把历年做官积攒的钱财和家眷都送回了原籍，安排妥当后，自己便轻装简从，游历天下名胜古迹。
有一天，贾雨村偶然又来到维扬地区。听说今年盐政的官员是林如海。这林如海姓林名海，表字如海，是前科的探花，如今已经升任兰台寺大夫，本是姑苏人氏，现在被钦点为巡盐御史，到任才一个多月。原来林如海的祖上曾世袭列侯，传到林如海已经是第五代了。起初只封袭三代，因为当今皇上隆恩浩荡，远超前代，额外加恩，林如海的父亲又袭了一代；到林如海这一代，就通过科举出身了。林家虽然是富贵之家，却也是书香门第。只可惜林家旁支不兴旺，子孙有限，虽然有几门亲戚，但和林如海都是堂族关系，没什么亲支嫡派。如今林如海已经四十岁了，只有一个三岁的儿子，偏偏去年又夭折了。他虽然有几房姬妾，但命中无子，也无可奈何。现在只有嫡妻贾氏生了一个女儿，乳名黛玉，刚满五岁。夫妻二人因为没有儿子，所以把黛玉当作珍宝一样疼爱，又见她聪明清秀，便也想让她读书识字，权当是假充养子，聊以慰藉膝下无子的凄凉。
贾雨村正好偶然感染风寒，病倒在旅店，过了一个月左右才渐渐痊愈。一来身体劳累疲倦，二来盘缠也快用完了，他正想找个合适的地方暂且安顿下来。幸好有两个老朋友也在这个地方居住，听说盐政官员想聘请一位西席先生，贾雨村便拜托朋友帮忙，谋得了这个职位，权且当作安身之计。好在只有一个女学生，还有两个伴读丫鬟，女学生年纪又小，身体极为柔弱，功课也不限多少，所以贾雨村教起来十分轻松。
一晃又是一年，谁知道女学生的母亲贾氏夫人一病不起，与世长辞。女学生侍汤奉药，守丧期间悲痛万分，贾雨村便打算辞去教馆，另谋出路。林如海想让女儿守孝期间继续读书，所以又把贾雨村留了下来。近来因为女学生哀痛过