이 서원은 조선조 대학자였던 모당(募堂) 손처눌(孫處訥)(1553~1634), 사월당 류시번(柳時藩), 양계(暘溪) 정호인(鄭好仁), 모당의 6대조인 격재(格齋) 손조서(孫肇瑞) 네 분을 추모하기 위해 세운 것이다. 모당 손처눌의 자는 기도(幾道)이며, 한강(寒岡) 정구문하(鄭逑門下)에서 사사(師事)하여 학행과 효우로 스승에게 인정받았으며, 임진왜란과 정유재란 때 의병대장으로 활동하였다. 난리(亂離) 중 부모상(父母喪)을 당하였으며, 이를 옳게 못 모신 것을 한탄하면서 임진왜란이 평정되자 종신여모(終身廬慕)한다는 뜻에서 자기 거처를 영모당(永慕堂)이라 하였다. 난(難) 후 그는 후진 양성에 전념하여 영모당은 언제나 문전성시(門前盛市)를 이루었고 '영모당통강제자록(永慕堂通講諸子錄)'에는 제자 202명의 명단이 적혀 있어 당시의 규모를 짐작하게 한다. 마을 앞에 청호지(靑湖池)를 만들어 영농에도 힘썼으며, 조정에서의 논공행상도 사양하였으며 다만 대구향교의 최고 책임자인 도유사(都有司)를 12년간 맡았다. 손조서는 조선 초기의 문신으로 대과에 급제하여 집현전 한림학사로서 필재(畢齋)와 도의지교(道義之交)를 맺고 단종 때 봉산군수(鳳山郡守)로 있다가 단종의 참사 소식을 듣고 불사이군(不事二君)이라 하여 벼슬을 버리고 고향(밀양)으로 내려가 후학 교육에 전념하였다. 청호서원 역시 1864년 서원 철폐령으로 훼철되었으며 1947년경 강당만 세웠다가 1968년 화재로 소실되었으며, 현재의 건물은 1969년 강당과 위패를 모신 상인사(尙仁祠)를 중건한 것이다. 서원 입구에 모당선생 유허비(遺墟碑)도 세웠다.