旧，筑砖石城，周六里二十七步有奇，高二丈二，厚如之，壕深二丈二，阔倍之。四门：东门延曦，南门淯阳，西门永安，北门博望，各筑月城，上各建楼，角楼四，敌台三十，寓铺四十三。为河南布政司下属八座府城中规模最小的一个。”
就这个“鞋壳篓”（南阳方言，意指鞋子里面，地方小）大的地方，唐王府占了三分之二的地盘。
洪武二十四年（公元1391年），明太祖朱元璋册封其二十三子，时年五岁的朱桱为唐王。永乐六年五月（公元1408年），二十二岁的朱桱就藩南阳。
唐王就藩前，朝廷大兴土木，历时数年，营造府邸，并从二千里外的太湖运来湖石，于后花园筑成巨型假山。人称王府山。
王府山楼式塔形结构，五级逐层递减，整体呈圆锥状，以中峰为核心，四角峙立四个小峰，取“五峰并峙，四峦拱朝”之意。小峰下均设有洞窟暗道，上下左右崎岖贯通。山体内有洞窟八个，暗道八条，洞窟、暗道用汉代画像石条作框架，以长方形灰砖砌成拱形券顶。山体盘山石阶沿山峰脊背或绝壁陡峭边缘逶迤盘旋，凌空面均嵌湖石，山道依山势设急拐三处，给人峰回路转之感，有两处匿入洞穴。山体洞穴于不同高程开向不同方位，穴口均有理想观景视野。拾级而上，怪石突兀，险象环生。经攀顶直道达接天亭，亭下有观景台，可腑瞰全城，远眺四方。
“重重叠叠回回旋旋登顶畅怀吟异景，盘盘弯弯曲曲折折下山倦恋咏奇观”，亭柱长联恰切地道出了登山者心潮汹涌之感受。
山底内有连通上下左右的大洞，另设暗道四条，两条深入地下，其一为唐王应急出城通道。周边围护的青砖，山上部湖石叠构挺拔露骨，筋络明显，色泽统一，凹凸丰富，皴瘦西湖透漏之风格强烈。
朱桱穷奢极欲，横征暴敛，建造的王府宫殿有八百多间。百姓满足不了其无度挥霍，就强令百姓把一日三餐改为一日两餐，节余口粮全部上交王府。
有位在王府花园修垒假山的老石匠，终日