李慈铭尝授读周祖培家，祖培相待颇厚，有爱士之雅。祖培之卒，慈铭丁卯五月二十五日日记云：“秦镜珊来，言新见邸录，商城相国于四月间薨逝，官其子文令主事，荫一孙举人。相国容容保位，无它可称，而清慎自持，终不失为君子。其于鄙人，亦不足称知己，然三年设醴，久而益敬，且时时称道其文章，颇以国器相期；常谓其门下士曰：‘汝辈甲科高第，然学问不能及李君十一。’予甲子京兆落解，为之叹惜索日。是亦可感者矣。追念平生，为之黯惨。时居母忧在籍也。”慈铭性狷傲，不肯轻许达官以知己，而如所云，盖亦未尝无知己之感焉。
癸亥（同治二年）五月，慈铭以捐班郎中签分户部。到部未几，奉派稽核堂印差，深以为苦，辞而未果。其是年日记中道及此事者，如六月初三日云：“得署中司务厅知会，予派稽核堂印。向例满汉各八员，须日日进署。生最畏暑，近日炎高尤酷，支离病甚，又无一钱可名，乃正用此时持事来，殆非人力所能致者也。”初四日云：“晨入署，诣司务厅，托其以病代告堂官，改免此差，不可得……作片致方子望，托其转致首领司，代辞此事……晡后偶从芝翁谈及署中事，大被嗤笑，盖深以予求免差为不然也。御前仗马，被锦勒，系黄缰，方蹀躞得志，闻山麋野猿羁绁呼喧声，固无不色然骇者。然芝翁之于予，自非恶意，且谓我能读书而不能作官，尤为切中予病。”祖培“能读书不能作官”之语，对慈铭自是定评。又慈铭是年十一月初二日日记有云：“东坡云：‘乐事可慕，苦事可畏，此是未至时心尔。及苦乐既至，以身履之，求畏慕者初不可得；况既过之后，复有何物？’此论诚为名言，然慕与畏犹有不同。慕于功名势位，诚为妄耳；若宫室妻妾饮食之慕，则临时固尚可乐也。畏则虽极至砧斧鼎镬，尔时若实已无法可免，当亦心死，不复觉可畏矣。以予自论，平生所慕者书，所畏者事。书自性命所系，一日不得此书，一日不能不慕。若言所畏，家居时或明日有小事必须出门，先日方寸即觉兀臬。今年到官后，更畏派