該軍前身是寧夏馬鴻賓、馬鴻逵部。1928年秋，寧夏“二馬”在國民革命軍北伐的影響下，率部歸順馮玉祥的國民聯軍。1929年5月，國民政府在南京召開軍事編譴會議后，寧夏“二馬”為保存實力，率部背叛馮玉祥后投靠了蔣介石。1930年中原大戰后，馬鴻賓部被改編為新編第7師、馬鴻逵部被改編為第35師。1933年，寧夏“二馬”所屬部隊奉命對調部隊番號，馬鴻逵部第35師改為新編第7師，馬鴻賓部的新編第7師改稱第35師。
收復五原
該軍前身是寧夏馬鴻賓、馬鴻逵部。1928年秋，寧夏“二馬”在國民革命軍
北伐的影響下，率部歸順馮玉祥的國民聯軍。
1929年5月，
國民政府在南京召開軍事編譴會議后，寧夏“二馬”為保存實力，率部背叛馮玉祥后投靠了蔣介石。
1930年
中原大戰后，馬鴻賓部被改編為新編第7師、馬鴻逵部被改編為第35師。
1933年，寧夏“二馬”所屬部隊奉命對調部隊番號，馬鴻逵部第35師改為新編第7師，馬鴻賓部的新編第7師改稱第35師。
1937年19月，抗日戰爭全面爆發后，國民黨軍以馬鴻賓部的第35師擴編成第81軍，隸屬
國民革命軍第十七集團軍。馬鴻賓任軍長，下轄第35師（馬鴻賓兼任師長）和獨立第35旅，馬獻文任旅長。該軍組成后，駐防在綏西地區。
1938年5月，該軍奉命參加了綏西抗日作戰行動。
1939年4月，馬鴻賓升任第17集團軍副總司令兼參謀長。該軍所屬部隊編製不變。同年秋至1942年初，該軍從綏西移防伊克昭盟北部
達拉特旗的黃河南岸，主要擔任黃河河防的守備任務。在此期間，該軍抗擊從歸綏西犯的日偽軍，打退了日偽軍的多次進攻，並收復了伊克昭盟灘地及沙窩地區。
五原抗戰炮兵
1942年初，該軍再度回防綏西，在包頭南大樹灣、桃力民一帶擔任防守任務。
1943年，該軍撤回寧夏中衛休整后，將獨立第35旅擴編成暫編第60師。此時，該軍轄第35師，馬惇靖任師長；暫編第60師，馬獻文任師長；還有一個騎兵團。
1945年9月，抗日戰爭結束后，馬鴻賓辭軍長之職，由其子馬惇靖繼任軍長，下轄部隊編製不變。
五原抗戰前線
1946年初，國民黨為發動全面內戰，對軍隊進 行大規模的整編，第81軍改整編第81師，原軍長馬惇靖改任師長，馬忠任副師長。原轄第35師改編為整編第35旅，馬惇靖任兼任旅長；原暫編第60師改編為暫編第60旅，馬獻文任旅長。
1947年初，暫編第60旅改番號為整編第228旅。此時，該師下轄整編第35旅、整編第228旅。5月，整編第81師奉命參加了隴東三邊戰役。在此次戰役中，整編第81師被人民解放軍殲滅1個團。
1948年9月，整編第81師恢復第81軍番號，隸屬西北軍政長官公署。馬惇靖任軍長，下轄整編第35旅、整編第228旅恢復原師的番號。其中，第35師，馬惇靖兼任師長；第228師，馬獻文任師長。
1949年該軍將第228師改番號為第294師，並新增編第358師。此時，該軍下轄：第35師，馬奠邦任師長；第294師，馬紹翰任師長；第358師，馬明德任師長。同年7月至9月，該軍先後參加了
隴東戰役、寧夏戰役等作戰。
擊斃日軍水川中將
抗日戰績：1940年，日軍西犯，馬鴻賓正在重慶參加蔣介石召開的高級軍事會議，部隊由35師師長馬騰蛟指揮。2月1日早晨，敵機輪番轟炸我烏鎮陣地后，日寇主力第3路第26機械化師團萬餘人，分乘780餘輛汽車、裝甲車、坦克瘋狂向35師205團的司儀堂陣地、208團的烏布浪口陣地撲來。敵我雙方激戰數回合，至夜9時，我雖傷亡慘重，但仍固守陣地。敵見久攻不下，敵飛機不斷利用順風向我方陣地施放毒氣，使得我軍官兵不斷咳嗽、流鼻涕，淌眼淚。中毒輕的人尚能堅持作戰，但有些人胸悶、頭痛、嘔吐，根本不能作戰，只得送下火線，大大削弱了部隊的作戰能力。至夜10時，馬騰蛟師長令206團2營增援，但寡不敵眾，208團於夜11時失守烏布浪口陣地。次日拂曉，堅守司儀堂陣地的205團與敵展開了刺刀戰。官兵們的刺刀捅彎了，就抱住敵人用牙咬，或拉響手榴彈與敵人同歸於盡。但是，35師終因武器低劣和寡不敵眾而全線敗退。8時，敵機械化部隊進至臨河，與傅部35軍和寧夏馬光宗的騎一旅等部激戰6小時后，相繼佔領臨河、五原。當時遠在重慶開會的馬鴻賓得到81軍綏西敗退的消息后，立即飛返當時的寧夏磴口縣，組織搶救傷員，重整部隊兩個團，令35師104旅旅長馬培清重返綏西前線，繼續在傅作義將軍指揮下，收復失地。 3月20日夜零時，傅作義將軍率35軍及寧夏35師等部向日軍反攻。雙方激戰兩天，我軍終於收復臨河、五原，擊斃日軍中將師團長水川及其日偽軍數千人，從此日軍再未敢進犯綏西。綏西戰役中，馬鴻賓部的馬騰蛟35師艱苦戰鬥，屢創敵軍，與中國第8戰區副司令長官兼第35軍軍長傅作義部密切配合，收復了大片國土，包頭以西、黃河以南地區的日偽勢力悉被肅清。這次戰役，對保障寧夏、甘肅和陝北後方安全起到巨大的作用。戰鬥中，馬鴻賓部35師犧牲1000餘人，傷2000餘人，其中凍傷者就達700餘人。在後來尋找35師烈士們的遺體時發現，有的官兵雖面目全非、肢體不全，但嘴裡仍死死咬著敵人血淋淋的耳朵；有的官兵雖傷痕纍纍，但帶血的雙手卻緊緊抱住敵人不放，仇恨的十指深深摳進敵人的肉里，難以拉開……悲壯的場面，催人淚下。臨夏和寧夏數千名抗日將士為了捍衛民族利益，英勇戰鬥，血染綏西的大無畏精神，受到人民的廣泛讚揚。這是臨夏健兒在抗戰史上極其光輝的一頁。 1940年5月，當35師重返五原烏布浪口陣地時，當地百姓自發地用極其隆重的安葬儀式，當地民眾和35師的善後人員只找到148具曠野中的烈士遺骸，辨明姓名和部隊番號后掩埋於烏不浪口西側的山坡之下，從此成為一片公墓。有人在後來評論這場戰鬥時說：“舉世聞名的台兒庄、長沙等戰役，國軍英勇奮鬥的精神，亦不過如此”。為了表彰馬家軍的抗日功勛，國民政府給馬鴻賓頒發了“忠勤勳章”。直到55年後的1995年，五原清真北寺在墓地立石碑一座，碑文為：抗日81軍35師民族英雄烈士紀念碑。1997年，巴彥淖爾盟、烏拉特中旗政府和民眾再立碑一座，定為烈士陵園。
在寧夏戰役中，該軍在遭受人民解放軍的沉重打擊后，在西北軍政長官公署副長官馬鴻賓的率領下，於寧夏中寧地區起義，接受人民解放軍的改編。
