조선시대 효자로 이름이 높았던 남지언 선생이 제자들을 가르치기 위해 세운 건물로 그의 호를 따서 삼괴당이라고 하였다.
남지언은 자를 신지, 호를 삼괴당이라 했으며, 본관은 고성이다. 중종 2년(1507) 남인의 아들로 이곳에서 태어났다. 어려서부터 효성이 지극했으며 장인 김시창에게 배워 학행이 높아 향시에 합격하였으나 복시에 나가지 않고 귀향하여 후학을 양성하였다. 효행으로 천거되어 김천찰방에 임명되어 잠시 나갔다가 사임하고 돌아와 강당을 짓고 후진양성에 힘을 기울였다.
현 건물의 처음 지은 시기는 알 수 없으나 순조 2년(1802)에 중수하였는데 단순 소박한 구조의 팔작지붕집이다. 당 안에는 남당 한원진 선생의 삼괴당기, 송환기 선생의 삼괴당중수기 현판 및 윤봉구가 쓴 당호와 현판이 걸려있다. 남지언의 아버지인 남인과 아들인 남경도 역시 효자로 이들을 칭찬하기 위해 나라에서 삼효각을 세워 주었다고 하나 지금은 소실되어 남아 있지 않다.