北山书院一共有四排斋舍，上下两层。一楼是自习室、饭堂、洗衣房等生活功能室，二楼才是学子住宿的地方。

每排斋舍之间有回廊连接，中间种植许多桂花树，取意蟾宫折桂。