人鉴于已无联姻的可能，便开始限制两人的来往。可毕竟比邻而居，两人总能找到见面的机会，他们已经懂得在一起的时间越来越少，所以倍感珍惜。
杨香未来婆家的来头不小，祖父久在朝庭做官，公公潘观保位列户部侍郎，未婚夫也是少年有才之士，品姓端重，前途无量。杨家在姑苏是名门，但与名重长安的潘家相比，可差远了。
潘观保被朝廷派到姑苏任职，程德彰得了消息后心生奇思：心上人杨香迟早是要进潘家门，自己不如提前与潘家老爷拉上关系，将来便可出入潘府，也有机会见到杨香，聊慰无缘之情。
如此想来，程德彰便找机会向潘观保递上名帖，口称门生，乞就求教。程德彰在姑苏已是文名鼎盛，潘观保平白地得到一位高足，自然心中欢喜，因此便与程德彰结下师生关系。
三年后，杨香嫁入潘家，随同丈夫潘祖同住长安。潘观保也因病回长安休养，正好给程德彰造成了可趁之机，他打着拜访老师的幌子，有事没事就往潘家跑，期盼着能在院中廊下与杨香见上一面。
到潘家走得多了，自然就有与杨香单独相遇的机会。两人心里似乎都有许多话要说，可不知从哪里开口为好。如此一来，不免勾起杨香对旧情的眷念，可相对无言，只能徒然增加一种莫名的苦痛。因此，杨香劝程德彰以后少来潘家，索姓不见面，把过去的一切留在记忆中罢了。程德彰却不这么想，他认为能看上一眼总比不能见面好，甚至还幻想有一天能重温旧梦，重续前缘。
杨香的丈夫潘祖同在翰林供职，可谓少年得志。谁料天有不测风云，潘祖同娶杨香的第二年，金秋乡试时出了件轰动一时的考场作弊案，主考官人头落地，潘祖同也是阅卷者之一，牵连获罪被流放琼州。潘祖同走后不久便传来噩耗，他因感染时疫病死在路途中，杨香成了年轻寡妇。
杨香失夫，程德彰更觉希望在即，因而往潘家走得更勤了。除了安慰老师丧子之痛外，程德彰买通丫环，借口慰问新寡之人，跑到杨香的屋子里去了。两人偷