拿下了两届得分王称号，还成为了魔术队的绝对核心。然而，在2003-2004赛季，魔术队却遭遇了令人失望的战绩，一度以21胜61负的成绩排在东部倒数。这让球队管理层不得不开始重新考虑未来的方向。其中一个原因就是，道格·里弗斯在该赛季初只取得1胜10负的战绩后，随后被解雇，结束了魔术队主教练的工作，由约翰尼·戴维斯顶上。
管理层的决定是在2004年夏天将特雷西·麦克格雷迪交易到休斯顿火箭队，这笔交易震惊了整个联盟。麦克格雷迪在魔术的四个赛季里场均贡献281分，成为了联盟最具观赏性和攻击力的球员之一。他的超高得分爆发力、顶级的控球技巧以及关键时刻的得分能力，都让他成为联盟中的“得分机器”。然而，由于球队整体实力的欠缺，加之队内缺乏稳定的二号球星，麦克格雷迪始终没能带领魔术取得突破。
当时的交易主要是因为麦克格雷迪对球队方向的质疑以及管理层希望借助他的高价值进行球队重建。魔术队管理层最终决定将麦克格雷迪送到火箭，换来史蒂夫·弗朗西斯（steve francis）、卡蒂诺·莫布里（cutto obley）和凯尔文·卡托（kelv cato）。从纸面上看，这笔交易带来了魔术队急需的多名实力派球员，特别是弗朗西斯和莫布里，曾在火箭队构建了一对默契的后场组合。
对于魔术队而言，这笔交易在当时是一个重大赌注。管理层希望通过这次交易，重建一支更具深度和均衡的球队阵容，而不再依赖一个超级得分手单打独斗。事实证明，交易并没有带来预期的成效。尽管弗朗西斯和莫布里都是出色的球员，但他们的到来并未能真正改变球队的困境。弗朗西斯的表现时好时坏，加之他与教练团队之间的摩擦，使得球队的化学反应一直存在问题。莫布里的得分能力虽稳健，却无法弥补麦克格雷迪离开后的空缺。
更糟糕的是，在接下来的赛季里，魔术队的战绩依然没有起色，他们未能进入季后赛，这笔交易的效果备受质疑。有人认为，魔术队在交易中“亏本”，因为他们用一名联盟顶级的得分手换来了一些短期有效、却无法在长期内带领球队崛起的球员。与此同时，麦克格雷迪在火箭队与姚明联手，虽然也遇到了伤病问题，但至少在战