光緒十四年（1888年），武訓終於建起瓦房二十間，取名“崇賢義塾”。這是中國歷史上第一所由一個乞丐靠乞討興辦的義學。
據《
清史稿》記載，開學那天，武訓預備了筵席款待先生，並請來紳士作陪，而自己卻恭恭敬敬立於門外。在座的人再三請他，他也不肯入座，只等酒席結束后，撿些殘羹冷炙來吃。
學堂建好后，武訓還常來“視察”。一次，學生都到齊了，先生仍睡覺未起，他就推開門，跪在先生床前流淚，先生十分慚愧，從此再也不忍晚起。見到頑皮的學生，武訓也用長跪不起規勸。在他的感召之下，師生努力上進，
義塾成為當時遠近聞名的學校。