宋淳熙元年(1174年)，吕规叔创建鹿门书院。吕规叔曾官至监察御史，南宋初年，金国入犯，吕规叔因主战而得罪秦桧，被贬到义乌，虽然后来得以昭雪，曾有机会再当官，但他看不惯官场腐败，无意仕途。因为其夫人是嵊州人，知道嵊州山水秀美，便举家迁到鹿门，并带来一批能工巧匠，建造书院，教读童子，全心弘德育人。就这样，鹿门书院的一脉文风得以从宋、元、明一直延续到清末，有了800多年的传承，后被授予“省级文保单位”称号。

“吕氏家训”和“吕氏乡约”是吕氏后代的精神支柱和遵循原则，“耕读、勤俭、公心”的家诲，代代相传，规范育人。他们众多孝节事迹、义举和办学之事就是在家训和乡约的传承中恒久延续。鹿门书院旁设立了吕氏家风馆，展现了铭记本来、清廉为官、学风长盛、严于家教、忠孝兼全、患难相恤、刚直守节、科技报国、勤奋创业、开拓未来等十个主题，并从贵门吕氏后人中选择了8个人物的故事，既有古代的，又有近代的，展现出吕氏一族的生生不息与兴盛和顺。