积极性也越来越低，生产出来的绸缎质量参差不齐，次品越来越多。
在销售方面，由于李长福长时间不关注市场变化，那些绸缎的花色款式渐渐跟不上其他地方的潮流了，客商们来采购的次数也越来越少。可李长福却还沉浸在自己的富贵梦里，浑然不觉生意已经在走下坡路了。
更糟糕的是，李长福染上了赌博的恶习，起初只是偶尔在朋友的怂恿下玩几把，可后来越陷越深，常常跑到镇外的大赌坊里一赌就是好几天，把大量的钱财都扔在了赌桌上。为了筹集赌资，他开始挪用绸缎庄的资金，今天拿一点，明天拿一点，想着等赢了钱再还回去，可哪有那么容易赢回来的，他越输越多，窟窿也越来越大。
随着时间的推移，“福瑞绸缎庄”的生意是每况愈下，原本热闹的大堂变得冷冷清清，货架上的绸缎很久都卖不出去几匹，作坊里的工人也走了大半，只剩下几个老弱还在勉强维持着。那些分店也因为经营不善，纷纷倒闭关门，欠下了一屁股的债务。
李长福的豪华宅子也因为还不上钱庄的贷款，被收了回去，他只能带着家人又搬回了镇里的老房子。曾经那些围着他转的酒肉朋友，看到他落魄了，也都纷纷离他而去，往日里热闹非凡的宴会再也没有了，只剩下他独自面对这破败的局面。
曾经那个让全镇人都羡慕不已、辉煌一时的“福瑞绸缎庄”，如今只剩下一个空荡荡的院子，大门紧闭，门上的金字招牌也掉了漆，歪歪斜斜地挂在那里，仿佛在诉说着曾经的繁华和如今的凄凉。而李长福，也从那个意气风发的富商变成了一个被人指指点点、唉声叹气的落魄之人，镇里的人们看着这一切，无不感慨万千，真正是眼见他起高楼，眼见他宴宾客，眼见他楼塌了啊。
可李长福并没有就此一蹶不振，在经历了这一番大起大落之后，他痛定思痛，开始反思自己的过错。他重新去找那些曾经合作过的农户，诚恳地道歉，希望能再次和他们合作。又把剩下的几个老伙计召集起来，大家一起商量着怎么重新把绸缎庄盘活。
他们从最基础的做起，李长福亲自去挑选优质的蚕丝，和工人们一起在作坊里研究改进生产工艺，根据市场的最新需求设计新的花色款式。虽然一开始很艰难，资金也很紧张，但他们一步一个脚印