，诸胡心中就已惴惴不安。后来石国王子怀恩逃往诸胡，不断诉说高仙芝的贪婪狡诈，以及大唐的背信弃义，诸胡更是怒不可遏，竟然暗中串通了大食，意欲反唐，围攻安西四镇。
更有甚者，说是高仙芝早有不臣之心，已经私自筹备军马器械多年，这几次灭石国、突骑施，根本就是为了掠夺财富，作为反唐的军资。
当时的玄宗皇帝表现出莫大的宽宏。并没有追究高仙芝等人的罪责，也没有再多奖掖。
不久后，玄宗任命高仙芝为武威太守，并代安思顺为河西节度使，意欲将高仙芝调离西域，安抚诸胡。
安思顺当然不愿意离开自己经营多年的地盘，与下属演出了一场“割耳捴面”的戏码，众部将苦苦哀求，不舍安思顺离任河西。朝廷只得改任高仙芝为右羽林大将军。
连番变故，高仙芝顿时失去了往日的风采，愁眉不展。纵然机智如狐，骁勇如虎，此刻自己身在长安，也是无可奈何。
很快，大食军队意欲来犯的消息传到长安。
还是边令诚从中周旋，拉拢了一帮老臣，向玄宗皇帝进言：高仙芝熟识西域军事，此刻西域之乱，唯高仙芝可解。这才保住了高仙芝安西四镇节度使的位子。
军权，再一次回到了自己手里。可是，那些日子高仙芝的愁绪不但没有解开，更陷入了深深的矛盾之中。原来姿容俊朗的脸上，变得隐晦压抑。
那一天，来了一封给高将军的信。信很奇怪，那只是一个锦囊，拿在手里一捏，里面装着的应该是一件玉佩之类的物件。来者却说是给高将军的信，让我原话传达。
更奇怪的，那是一个小道姑送来的，交代完，施了礼，转身就走了。
高仙芝打开锦囊，没有字纸，只有一块玉佩。他呆立在那里，许久没有说话。
第二天一早，他简单交代几句，独自打马而去。
跟随将军这么多年，那是第一次，见他一人独自出行。没有怒马鲜衣，没有英姿勃发的少年扈从。看着他孤独远去的背影，顿时觉得万千繁华，不过一场烟火。
我想他一定是去见了谁，只是不知道那是何等的人物。竟令这位爱惜羽毛的将军，便衣独行。
他回来时，不见了连日来的愁云