杭世骏家里本来就不怎么富裕，回乡之后，他以教学授徒维持生计。他曾经在扬州安定书院主讲几十年，以实学来教育士子。

所谓实学，就是以“实体达用”为宗旨、以“经世致用”为主要内容的思想潮流和学说；肇始于宋代，在明清之际达到高潮，是儒家思想发展的阶段性理论形态，并成为中国古代思想向近代思想转化的中介和桥梁。

闲暇时间，杭世骏则闭户著书，从来不参与外界的事务。他不事修饰，生活很是疏懒，有时候，他一月之中，都不会整理衣冠。

大约是穷怕了吧。据说，杭世骏对钱有特别的嗜好。每每有教学的报酬进来，他都会挑选比较大的铜钱，用绳子串起来，然后，堆积在床底下。到后来，杭世骏床底下积攒的铜钱竟然有近一尺高。那些送来的铜钱，凡是尺寸较小、残缺破碎、或者是私铸的，都不会入选成串，杭世骏会用这些未入选的铜钱来买东西，作为日常花销之用。

大概因为杭世骏不是读书写字，就是拨弄他的那些个铜钱，所以，当时的人说，杭世骏的两只手，不是满手的黑墨，就是厚厚的铜绿。

虽然有人讽刺说杭世骏有钱癖，但是，君子爱财，取之有道，他并不是见了钱就伸手的人。

曾经，有一名商人，因事得罪了朝廷的盐运使。有人说，这个事情，非杭世骏不可，其他人都解决不了。那位商人就半夜跑去杭世骏的居所求救，并携带了重金。商人见到杭世骏之后，将银子放在了杭世骏的书案上，杭世骏感觉处理这种事情，有违自己的为人处事的原则，他就将银子扔给了商人，并没有理会那件事情。

杭世骏生平，最不喜欢看官方传达讯息的文字（邸报）。在乡二十年，他的那些个同年，有些人已经积官至学士、尚书、总督等朝廷大员了，他根本就不知道。

农历戊子年（乾隆三十三年·公元1768年），刘纶母忧服阕，清廷特旨，召其以吏部尚书协办大学土。

刘纶（公元1711年～公元1773），谥文定，年字如叔，号绳庵，又号慎涵，江苏武进人。世家子，年十九补诸生。入两江总督尹继善幕。擅古文辞，亦能诗。与大学士刘统勋同辅政，有“南刘东刘”之称。

当日，刘纶进京时，路过扬州，前去拜访杭世骏。

杭世骏看见刘纶的衣服冠戴之后，有些吃惊，问道：

“您现在做什么官啊？”

刘纶回答道：

“既然您问到了，我也不敢欺瞒。我已经参与内阁事务好几年了。”

杭世骏戏谑道：

“您这吴下的少年，也已经入阁办事了啊。”

刘纶比杭世骏小十六岁，所以，杭世骏有此一说。

杭世骏说完，大家哄堂大笑。

杭世骏每年要回去钱塘两次。回去之后，没有事情做，他就会带上数百钱，与乡里的少年在居所附近的望仙桥下博戏为乐。

当时，钱维城在浙中视学（巡视各府、厅、州、县学务）。

钱维城（公元1720年～公元1772年），谥文敏，初名辛来，字宗磐，一字幼安，号纫庵、茶山，晚号稼轩，江苏武进人，乾隆十年（公元1745年）状元，官至刑部侍郎，著名画家。

因为钱维城也曾经在翰林任职，所以，算起来，在杭世骏面前，他就是后进了。

盛暑时节，钱维城张盖乘车前去拜访杭世骏。临近望仙桥时，钱维城就从车中看见杭世骏身着短葛衣、手持芭蕉扇，与乡里众少年博戏正酣。

钱维城马上下了车子，向杭世骏作揖道：

“前辈在这里啊！”

杭世骏马上用手中的芭蕉扇遮住自己的脸，然后，他想了一下，这样也藏不住自己啊。于是，他转过脸来，说道：

“您已经见过我了！”

言下之意，就是：

您可以回去了！

钱维城说道：

“我准备去前辈的家中拜谒您啊！”

杭世骏说道：

“我的住处，房屋低矮，空间狭隘，容不下您和随从这么多人！”

钱维城执意要去杭世骏家里拜访，杭世骏执意不肯。

最后，没有结果，钱维城无法登门，只能原路返回。

钱维城离开后，那些此前看见官员就一哄而散、躲在望仙桥下的少年跑了出来。他们围着杭世骏，吃惊地问道：

“您究竟是什么人啊？学使见了您，都这么恭敬。”

杭世骏笑着说道：

“学使是我以前在衙门时的后辈！”

他也不讲自己的姓名，就离开了。