조선시대 현유(賢儒)의 위패를 봉안, 배향하고 지방의 교육과 지방민의 교화를 위해 창건되었다. 본래는 금계동 임실마을 서편에 있었으나, 1541년(중종 36) 주세붕(周世鵬)이 풍기군수로 부임하여 문묘에 참배한 뒤 그 위치가 읍에서 너무 멀고 식수(食水)가 불편하다 하여 이듬해에 현재의 위치로 옮겨지었다. 1692년(숙종 18)에 군수 정증(鄭䎖)이 구지(舊址)로 옮겼다가, 1735년(영조 11) 군수 임집이 다시 지금의 위치로 옮겨지었다. 1950년 6·25전쟁으로 양심루(養心樓)와 동재(東齋)·서재(西齋)가 소실되었다. 1971년에 헌관실(獻官室)을 보수하고 1977년에 대성전을 중수하였으며, 1980년에 명륜당을 중건하였다. 1983년에 서무(西廡)를 보수하고 1985년에 동무(東廡)를 중수하였다. 조선시대에는 국가로부터 토지와 전적·노비 등을 지급받아 교관 1명이 정원 30명의 교생을 가르쳤으나, 갑오개혁 이후 신학제 실시에 따라 교육적 기능은 없어지고 봄·가을에 석전(釋奠 음력 2월과 8월에 문묘에서 공자에게 지내는 제사)을 봉행(奉行) 하고 초하루·보름에 분향을 하고 있다. 대성전과 동무·서무는 경상북도 유형문화재 제211호로 지정되었다.