来丢了官，便留在了陇西，与羌族人混居在一起。因为家贫无妻，便娶了羌族女子为妻，生下了马腾（因此马腾有二分之一的羌族血统）。马腾年少时贫困，没有产业，于是经常从彰山中砍树木，背到城市中贩卖来维持生计。
马腾身高八尺有余，体形壮大，面貌雄俊而异于常人（通常说的相貌不俗），而且性格宽和，待人诚恳，因此很多人都敬重他。汉灵帝末年，当时的凉州刺史耿鄙任用很多污吏，导致凉州治下的民众王国以及羌氐人民反叛（发生了暴乱，当时山东黄巾起义）。于是凉州便从民见招募勇士去讨伐叛乱。马腾被招入军队。招兵的官员以为马腾不同于常人，便让他当上了军从事，训练及率领部队。马腾由于镇压叛乱有功，升为军司马，后来又因功升为偏将军（这恐怕是马腾“叛乱”之后的事了），又升为征西将军，驻扎在汧（汧阳，县名，在今陕西省，现在叫做千阳）、陇（陇山，陕甘交界处）之间。大约在初平年号时期（共六年），朝廷又拜马腾为征东将军。