人常说愤怒出诗人，愤怒和压抑也的确能使人作出一些惊世骇俗之举。钱谦益在事业受挫之时，不顾世俗礼仪，不怕士绅唾骂，以正室之礼迎娶风尘女子柳如是；而在在深深的追悔与自责中，又不惜九死一生，拼命以自己的实际行动来弥补以往的过失。
“……先生亦悔中道之委蛇，思欲以晚盖，幸天之待先生以厚，不使先生赍志以终……”
“啊，啊——”钱谦益张着嘴，惊讶得只能发出这简单的字音，揉了揉老眼，他仔细观察着下面的印章，身体颤抖起来，扑通一声跪倒在地，分不清东南西北地磕头，老泪纵横，“殿下宽容，殿下仁厚，老朽，老朽……”
“钱先生快快请起。”情报局常熟站站长程冬忙起身将钱谦益扶起坐好，然后向南拱了拱手，说道：“殿下仁厚，世所称道，胸襟广阔，更无人可比。今番延请名士大儒，实是思贤若渴，亦不欲诸位大贤再置身鞑虏治下，难脱险境。”
“是，是。”钱谦益此时方辨清了方向，向南拱手，“殿下隆恩重情，不以老朽旧恶为忤，老朽感激涕零，没齿难报。只是，只是这——”
钱谦益为柳如是所营救，得脱牢狱后，便从苏州返回常熟，移居红豆山庄。表面上息影居家，筑绛云楼以藏书检校著述，暗中则与西南和东南海上反清复明势力联络。
“绛云楼”取“真诰绛云仙姥下降”之意，名其为“绛云楼”，中有宋刻孤本，秘册精椠较多。其藏书经重加缮治，区分类聚，分为七十三大柜。自称：“我晚而贫，书则可云富矣”。学者称“大江以南，藏书之富无过于钱”。
顺治七年（1650），幼女与乳母在上玩耍，蜡烛误落入纸堆中，起火被烧。钱自称绛云楼之火和梁元帝江陵焚书、李自成文渊阁焚书为“藏书三大厄”。事后痛心疾首地说：“甲申之乱。古今书史图籍一大劫也，吾家庚寅之火，江左书史图籍一小劫也。”
作为主要策划者谋划的长江战役因为明军的内部矛盾和私心自用而无疾而终，钱谦益灰心丧气，