吴、长洲二县，在郡治所，分境而治。而郡西诸山，皆在吴县。其最高者，穹窿、阳山、邓尉、西脊、铜井。而灵岩，吴之故宫在焉，尚有西子之遗迹。若虎丘、剑池及天平、尚方、支硎，皆胜地也。而太湖汪洋三万六千顷，七十二峰沉浸其间，则海内之奇观矣。
余同年友魏君用晦为吴县，未及三年，以高第召入为给事中。君之为县，有惠爱，百姓扳留之，不能得，而君亦不忍于其民。由是好事者绘《吴山图》以为赠。
夫令之于民，诚重矣。令诚贤也，其地之山川草木，亦被其泽而有荣也；令诚不贤也，其地之山川草木，亦被其殃而有辱也。君于吴之山川，盖增重矣。异时吾民将择胜于岩峦之间，尸祝于浮屠、老子之宫也，固宜。而君则亦既去矣，何复惓惓于此山哉?昔苏子瞻称韩魏公去黄州四十馀年而思之不忘，至以为《思黄州》诗，子瞻为黄人刻之于石。然后知贤者于其所至，不独使其人之不忍忘而已，亦不能自忘于其人也。
君今去县已三年矣。一日，与余同在内庭，出示此图，展玩太息，因命余记之，噫!君之于吾吴有情如此，如之何而使吾民能忘之也!
《吴山图》是作者的朋友魏用晦离任吴县县令时，当地百姓送给他的一幅山水画。《吴山图记》即以这幅画为线索，先寥寥数笔概写吴县的风物名胜和湖光山色，然后自然而然地写出魏用晦在担任县令时与当地百姓结下的难以忘怀的深厚感情，并以北宋苏轼和韩琦的故事，揭示出“然后知贤者于其所至，不独使其人之不忍忘，而己亦不能自忘于其人也”，以此来称颂魏用晦对吴县的缱绻深情。作者不刻意雕饰文字而写得清新淡雅，着眼吴县山水画而寓意于山水画外，构思颇为新巧。
文章首先介绍了吴县诸多的崇山峻岭、吴王故宫、西子遗迹、名胜风景以及沉浸着七十二座山峰的广阔太湖，给读者展示了一派“海内之奇观”的吴县秀丽风光。作者在这里并非为写景而写景，而是为下文中颂扬“君于吴之山川，盖增重矣”作好铺垫。接下来记叙了魏用晦做了不到三年的吴县县令，因考绩优等，被召入朝做给事中，吴县百姓念其恩德想挽留他没有成功，便赠《吴山图》以作为纪念。作者在这儿记叙的是临别赠图而不是赠送其他贵重物品，这既表明了吴县百姓对其思德惠政的感谢，也表明了魏用晦为官清廉的品德。
第二段，归有光以极为感慨的口气，论述了县令对于百姓的重要。“令诚贤也，其地之山川草木，亦被其泽而有荣也；令诚不贤也，其地之山川草木，亦被其殃而有辱也。”县令如果贤明，那地方的山川草木也叨他的恩泽而享有荣耀；县令如果不贤明，那地方的山川草木也遭到他的祸殃而蒙受耻辱。这些议论是为了直接引出下一句“君于吴之山川，盖增重矣”。魏君之于吴县的山川，实在是为山河增添了光彩。这一句与文章开头写吴县秀丽山川、名胜古迹的文字相互照应，使议论和写景有机地配合在一起，将魏用晦治理吴县的功绩形象地表现出来。最后以“而君则亦既去矣，何复惓惓于此山哉？”结束此段，不仅写出了魏用晦对吴民的怀念之情，也起到了承上起下的作用。
末一段，归有光以苏轼称赞韩琦不忘情于黄州，并替黄州人将韩琦的《思黄州》诗刻在石碑上的故事，引出“贤者于其所至，不独使其人之不忍忘而已，亦不能自忘于其人也”的道理。并以魏用晦已离开吴县三年，仍时常拿出《吴山图》深情地叹息，来说明魏用晦为官贤明，不忘百姓的品德。文章最后紧扣主题，深深地感叹道：“噫！君之于吾吴有情如此，如之何而使吾民能忘之也！”使对魏用晦的颂扬之情达到高潮。文章写得婉转情深，意蕴悠远，笔墨更在山水之外，颇具情韵。
从这篇不长的散文中可以看出归有光把握此类文章的功力。他以县令和吴民相互思念之情作为文章之魂，以《吴山图》作为贯穿全篇的线索，无论是描写吴县秀丽山川、抒发感慨的议论，还是记叙古代贤人的故事，都离不开烘托魏用晦的贤明和政绩。文章以舒缓的语气叙说平平常常的事，却又紧扣着抒发深情这个中心，因而不使人觉得他颂扬好友牵强、琐屑。从文章中还可以看出归有光善于把生活小事引摄到“载道”的“古文”上来，以及善于以触景生情、见物思人等方式来抒发情致的为文特点。