管豹一时风头无两，按理说此时的管豹深得曹操器重，正是大展拳脚干一番事业的好机会，他却在这时选择了激流勇退。
在曹操阵营中深居简出，再也不肯亲自出手，只安排手下人前去“挖矿”专心在后面为曹操培养摸金人才。
据说管豹在挖袁氏祖坟的时候受到了袁家龙气反噬，受了重创，也有人说管豹怕有损阴德，日后遭天谴才就此收手。
不管外界怎么传，管豹从未出面解释过，仿佛消失了一样。
赤壁之战，曹军大败，元气重伤，无奈之下，曹操再一次亲自登门求管豹出手相助。
但此时管豹无论如何也不肯般曹操断江东孙家龙脉。
见管豹态度坚决，曹操只好退而求其次，希望管豹出手帮他开掘几个大墓，补充捉襟见肘的钱帛。
管豹勉为其难答应了，但他也立下了一个规矩，不盗同朝墓，要隔代挖掘。
其缘由自然与秦朝时恩怨有关，令人匪夷所思的是，他在接受曹操的命令后，并没有把矛头对准秦朝贵族而是将目标盯准了前朝项羽墓。
手下不解，问他为何不盗更宏伟的秦始皇陵，盗取秦始皇陵是每一个盗墓者毕生的最高心愿，拥有各种特权的管豹已经获得当时最有权力的曹操的许可，可以明目张胆的动用各路人力物力来盗取秦皇陵，可他偏偏选择了项羽墓？
管豹当时没有作答，这让人很是费解，也成了一个迷，估计除了管豹本人之外，没有知晓其中真正的原因。
根据野史记载，凤凰落地踩过的石头，挖出宝玉，被秦始皇雕刻成传国玉玺，后来子婴投降把玉玺呈现给刘邦，刘邦又在鸿门宴将玉玺转赠项羽。
虽然项羽自刎乌江，但是尸体却被汉高祖收尸厚葬，据说项羽的手下后来偷偷潜入墓地，将传国玉玺与项羽合葬。
后来这件事惊动了曹操，专门派人登门询问其中原因。