袁甲自幼聰慧，讀書刻苦。他七歲入學，八歲的時候曾偷偷寫了一篇《事君能致其身》的文章，袁耀東見后很感詫異，認為“
孺子可教”。可惜，袁耀東四十多歲就因病去世，沒能看到這個兒子“功成名就”。
袁甲三“家貧，刻苦勵學，以慰母志”（《端敏公集·禮部議奏入祀鄉賢祠折》），十四歲與長兄澍三同補縣學，中秀才后，加入“
勤工儉學”行列，在
項城望族高崍雲家當家庭教師。高家世代書香，“談笑有鴻儒，往來無白丁”，袁甲三在此受益甚多。他二十二歲得廩生功名，三十歲中舉人，三十一歲（道光十五年）終於考中進士。而後，順利步入官場，先後在京擔任禮部主事、充軍機
章京、郎中、直至擔任御史、給事中。