괴산향교는 처음 세워진 연대는 알 수 없으며, 1530년에 지금의 자리로 옮겼다. 1587년에 다시 짓고 그 후에 여러 번의 수리를 하였으나 비교적 원래의 형태를 잘 간직하고 있다.
현존하는 건물은 대성전·동무·서무·명륜당·교직사 등이 있다. 대성전은 공자를 비롯하여 여러 성현의 위패를 모시고 제사 지내는 곳으로 정면 3칸, 측면 2칸의 맞배집으로 공자를 주향하고, 그 양편에 4성을 배향하였으며, 동·서 양무는 정면 3칸, 측면 1칸의 맞배집으로 송조 2현 및 우리나라 18현의 위패가 봉안되어 있다.
명륜당은 학생들이 공부하던 곳으로 학생들의 거처인 동재·서재와 함께 배움의 공간을 형성한다. 정면 5칸, 측면 2칸의 단층 맞배집이며 동·서 양재는 각각 정면 4칸, 측면 1칸의 맞배집이다. 현재의 명륜당은 선조 20년(1569)에 지었는데, 인조 25년(1647)에 중건하였으며, 숙종 9년(1683)에 중수하고, 1981년에 크게 보수한 바 있다. 건물들의 규모와 형식이 향교의 일반적 배치 형태인 전학후묘를 따르고 있다.
조선시대에는 국가로부터 전답과 노비·전적 등을 지급받아 교관이 교생을 가르쳤으나, 현재는 교육적 기능은 없어지고 봄·가을에 석전을 봉행하고 초하루와 보름에 분향을 올리고 있으며, 전교 1명과 장의 여러 명이 운영을 맡고 있다. 소장 전적으로는 판본 2종이 있다.