亚当·斯密离开牛津大学的原因，斯密认为，格拉斯哥大学远优于牛津大学，根据自己的体验，他感到牛津大学是智力窒息。在《国富论》第二章国家财富，斯密写道:这所大学大部分教授们，为了传授他们认为正确的道义，甚至完全放弃了教学的原则。有一次他几乎被学校开除，原因是在他房间里发现了一本大卫·休谟的《人性论》，认为休谟即使可能成为一位哲学家，读他的书也是不相宜的。斯密经常抱怨说，牛津大学官员的朋友一旦发现他读一份戴维·休谟《论人性》，他们随后没收了他的书和并对他进行严厉处罚。然而，斯密利用这次机会，便去了牛津大学图书馆在那里寻找自己喜欢看的书籍，斯密并没有认真去学习自己的专业，所以说斯密在牛津大学不是一个幸福的学生，在临近毕业前夕，斯密的精神状态临近崩溃。

根据威廉·罗伯特·斯科特说:"斯密在牛津读书时期几乎没有什么是有助于他的。"斯密也在后来讲到:"在牛津的时期对他后来的毕生事业没有多少影响"。所以他在1746年离开了牛津大学。

斯密从小是个瘦弱的孩子;从孩提时代起他就养成自言自语的习惯，一生未改。虽然从早年起，甚至还是个小孩的时候，就会不时发生神不守舍状态，斯密在陌生环境发表文章或演说时，刚开始会因害羞频频口吃，一旦熟悉后便恢复辩才无碍的气势，侃侃而谈;而且亚当·斯密对喜爱的学问研究起来相当专注、热情，甚至废寝忘食。

亚当·斯密常想事情想得出神、丝毫不受外物干扰;有时也因此发生蠢事，例如:亚当·斯密担任海关专员时，有次因独自出神将自己公文上的签名不自觉写成前一个签名者的名字。还有一次，在某个晚宴上，亚当·斯密突然开始对当时一位有威望的政治家在公开场合的行为提出强烈的谴责，但接着他发现隔桌有那位政治家的近亲，便顿时住口不说，马上陷入沉思，而嘴里嘟哝着:"畜生，畜生，都是真的。"这件事显示亚当·斯密会坦率的说出自己的看法，又尽量避免做出对人无理的事。另外一次斯密在达尔基思用晚餐时，德契斯特勋爵的两个儿子也在场。话题集中在德契斯特勋爵的领地和他的工作上，这时亚当·斯密终于插嘴说:"对不起，德契斯特勋爵到底是哪一位?我好像没有听说过他。"这事件表示亚当·斯密仍有平常人有的缺点，他不是个圣人。

人物轶事

尽管斯密一生未娶，但是它将书籍作为自己众生的伴侣，他曾说过书籍就是我的情人这样话，他还说"我别无所好，所好的只是书"，从中我们可以看到斯密是一个非常喜好书籍的人。有一次亚当·斯密向他的友好卖弄他所珍藏的书时，就是这样形容他自己的。他肯定不是个仪容漂亮的人。我们从一个大纪念章上看到他的面相，下垂的眼皮，深眼窝，下嘴唇突出，一个大鹰钩鼻子。他一生受到过神经方面的折磨，他的头摇晃不定，说起话来结结巴巴，怪模怪样。

《当代》杂志对斯密的描述是:斯密比较偏心，但作为一个仁慈的智慧，滑稽不在头脑，独特的生活习惯与言论和步态和微笑"难以形容的仁慈"。他被称为经常谈论自己，并不定期以法术想象疾病。

斯密经常被描述为原型心不在焉教授。据报道，他是有书籍和文件堆叠在其研究报告中，与发达国家的习惯，他在童年时的发言，并微笑着对自己在全神贯注交谈看不见同伴。讨论了各种轶事他恍惚的性质。

此外他还以常常会处于游心于物外的状态闻名。当18世纪80年代斯密接近50岁时，爱丁堡居民在一个欢乐的场面上，以合乎礼仪的方式款待他们最杰出的公民。这时他穿着件浅色外套，短裤，白丝袜，有扣的鞋子，戴的是平顶周边的海狸皮帽，拿着手杖，在一条用圆石砌的路上行走。但是他两眼望着天空，口中念念有词，像是在唠叨些什么。他每走一步就要迟疑一下，似乎想换个方向走，甚至想倒退着走，一个朋友说他样子就像个蠕虫。在地上爬。

又一次，在爱丁堡与一个声名显赫的友人同走时，他的扈从边向他敬礼为送上他的手杖。对斯密说来，这类事已经有过无数次，但他这次面对这位工作者突然陷入了催眠状态。他用手杖向对方回礼，更使他的客人惊异的是，他毫发不爽地用他的手杖向他的扈从重复了后者对他的一举一动。当这一符咒的魔力解除以后，斯密却站在一长段踏级的顶端，手里仍然拿着手杖，全然不知道他刚才的那番出格举动，他把手杖搁在一边，然后从刚才谈话的中断处继续谈起。

有一个故事，据斯密说，他去查尔斯汤森参观一家工厂，在和塞黑讨论自由贸易时，他自己走进一个巨大的鞣坑从他不得不被删除。

另一期节目记录，他把面包和奶油制作成一茶壶，炮制喝，并宣布这是最坏的一杯茶。