산수유의 수령 또한 200년으로 오랜 역사를 가지고 있는데, 그 유래를 도립리의 육괴정이 전하고 있다. 조선 중종 때 기묘사화가 일어나면서 조광조는 유배를 가게 되고 사림파가 숙청을 받게 된다. 이에 조광조를 따르던 많은 사람들이 낙향을 하는데, 그중에서 남당 엄용순을 비롯한 몇몇의 선비들이 모여서 이곳에다 정자를 짓고 나무를 심으면서 세월을 보냈다고 한다. 바로 그때 만든 정자가 육괴정이며 그때 심었던 나무가 산수유로 지금의 모습을 이루게 된 시작이었다.