学校创办于1928年，现校址坐落在省道上松线公路旁的下杨一村，有俞源、寿仙谷、刘秀垄、大红岩等著名人文自然景观依傍，是个环境优越的读书育人好地方。

2004年，根据县教育布局调整，下杨小学扩大办学力度和规模，学校占地面积15685平方米，绿地面积4000平方米。新建教学楼1938平方米和教师宿舍楼1232平方米，新建2200平方米塑胶跑道和现代教育教学设施，学校面貌日新月异。2004年以后，合并了吴宅、俞源等小学，2006年8月更名为俞源乡下杨中心小学。

学校现有6个教学班，13名专任教师，其中，青年教师占69% 。下杨小学教师爱岗敬业，工作充满激情。老教师“不用马鞭自奋蹄”，青年教师阳光自信，永不服输。13个专任教师中，荣获浙江省农村教师突出贡献奖1人，金华市优秀班主任一人，武义县第二届师德好教师1人，武义县名师1人，武义县教坛新秀2人，荣获武义县优质课评比一等奖4人次，二等奖7人次。

学校本着“五育并举，德育为先，以人为本，重在发展”的办学理念，遵循“求真、尚美、合作、创新”的校训，办学质量稳中有进，学校连续9年荣获县教育教学质量先进学校，2011学年荣获“县轻负高质先进学校”。先后荣获市文明单位、市卫生先进学校、省三类标准化建设学校、县绿色学校，并荣获全国第二届少儿书信大赛优秀组织奖等荣誉；教师县级以上获奖130多人次，学生竞赛获省、市、县级荣誉138人次，学校还通过了县办学水平等级和素质教育达标“两项”评估，成为武义县A级小学。