连四世三公的家族颜面都懒得装，连续败于曹操让袁术脾气极坏，不仅没有感激之情，反而对他极为厌恶，认为他反复无常，难堪大用，直接拒绝接纳他，直接把吕布的使者一顿打丢了出来。
吕布碰了一鼻子灰，心中愤懑，却又无可奈何，因为吕布个人虽然勇猛，此时跟在吕布身边的兵马数量实在太少，只得带着人马转投河内郡的张杨。
张杨是吕布的同乡，吕布本以为他会念及旧情，收留自己。然而，李傕、郭汜早已悬赏捉拿吕布，张杨的部下纷纷提议杀掉吕布，以换取李、郭二人的赏赐。
吕布得知后，心中大骇，不过吕布倒也胆大如天，直接孤身一人找到张杨，镇定地说道：“张兄，你我同州之人，若你杀了我，对你并无好处。不如将我活着交给李傕、郭汜，你还能获得他们的恩宠，岂不两全其美？”
这是吕布对自身武力的自信，作为大汉武力第一，没有属下的拖累，吕布自信没人能困得住自己。
张杨听了，表面上点头称是，笑着说：“此话有理。”然而，他心中却另有打算。他虽表面上答应李傕、郭汜，但实际上并无杀害吕布之意，反而暗中保护他。
吕布武力高绝，脑子却不大好用，听不出张扬话里有话，冷哼一声走后，连夜带着不多的残兵败将逃离河内，转而投靠了袁绍。
吕布投奔袁绍，本以为自己能凭借勇武之名得到重用，然而袁绍对他也是心存戒备。
袁绍虽表面上礼待吕布，但心中却暗想：“此人反复无常，连董卓都能杀，岂能真心效忠于我？尤其是吕布身负那绝世勇武，如果发起疯来，自身岂不是危险？这吕布简直就是个定时炸弹啊！”
不过袁绍心机还是有的，很快就想到了两全其美的办法，他安排吕布驻扎在外，既不重用，也不放他离开。而且在吕布周围布下了重兵，防止监视吕布。
吕布虽然不屑那些土鸡瓦狗的监视防护，心情郁闷是不能避免的，却又无可奈何。
吕布觉的，自己武力冠绝大汉，勇猛无双，却始终找不到一个真正能容他的主公。天下虽大，却似乎没有他的立足之地。