余荫山房的布局十分巧妙。园中亭台楼阁、堂殿轩榭、桥廊堤栏、山山水水尽纳于方圆三百步之中。园中之砖雕、木雕、灰雕、石雕等四大雕刻作品丰富多彩，尽显名园古雅之风。更有古树参天，奇花夺目，顿使满园生辉。而园中“夹墙竹翠”、“虹桥印月”、“深柳藏珍”、“双翠迎春”等四大奇观，使游人大开眼界，乐而忘返。

它以“藏而不露”和“缩龙成寸”的手法，将画馆楼台，轩榭山石亭桥尽纳于三亩之地，布成咫尺山林，造成园中有园、景中有景、幽深广阔的绝妙佳境。通过名工巧匠的精雕细刻，使全园的文饰做到丰富而精致、素色而高雅，给人们一种恬静和雅淡的美感，如置身于“波暖尘香”之中。进入写有“余荫山房”的正门后，过厅堂，穿竹径，便到山房的花园门。门旁有对联一副：“余地三弓红雨足，荫天一角绿云深”，正是此园点题之句。

余荫山房园地虽不足2000平方米，但亭桥楼榭，曲径回栏，荷池石山，名花异卉等，一应俱全。园景可分为东、西两半部，西半部以长方形石砌荷池为中心，池南有造型简洁的临池别馆；池北为主厅深柳堂。堂前庭院两侧有两棵苍劲的炮仗花古藤，花儿怒放时宛若一片红雨，十分绚丽。深柳堂是园中主题建筑，是装饰艺术与文物精华所在，堂前两壁满洲窗古色古香，厅上两幅花鸟通花花罩栩栩如生，侧厢三十二幅桃木扇格画橱，碧纱橱的几扇紫檀屏风，皆为著名的木雕珍品，珍藏着当时名人诗画书法。隔莲池相望，有“临池别馆”呼应，夏日凭栏，风送荷香，令人欲醉。

余荫山房既是是寓宗祠、书院、园林文化为一体的文化实体。从祠堂的规模、构件、对联、匾额的内容等等，都体现其具有浓厚的宗族文化色彩。善言邬公祠对联“惟孝友乃可传家，兄弟休戚相关则外侮何犹而介入；舍诗书无以贻后，子孙见闻不俗虽中材未至为非耕”，两边侧门“扬烈”、“诵芬”匾额和青云巷的“凤起”、“蛟腾”匾额，以及祠堂大门上的六国大封相、封神榜故事人物木雕装饰等，都是宗族文化的体现。

善言邬公祠的建筑布局是面宽三间，进深三间，大门两侧有包台（鼓乐台），凡迎接贵宾或有盛大喜庆活动，鼓乐手分立包台，敲锣打鼓，呜金奏乐。门前有象征宗族权力和门弟高贵的石鼓。大门分设上下两层，不设槛闸。平常只开启脚门，族人进入祠堂必须弓身，以示对祖先的尊敬。当有喜庆活动时大门才开启，欢迎贵宾，族人则只能从两侧青云巷进入。在享堂前为五级台阶，大堂正厅两侧门顶用金钱图案装饰。

善言邬公祠除了堂内的布局考究外，屋脊上也用大量的灰塑装饰，图案精美，寓意深刻。门厅正脊东面的“康宁图”寓事业有成，康乐安宁；向西面的“天伦图”寓龙凤呈祥，幸福家园；向南面的“喜鹊竹子”寓喜报平安；享堂正脊东面的“高冠富贵图”寓升官发财，衣锦荣归；向西面的“春魁报喜图”寓父子登科，双喜临门之意等等。