嘉靖四年（1525年），年僅十歲被蒙古韃靼部落掠走，為人放牧。後乘狩獵之機，逃回中原。時周尚文鎮守大同，收留他為隊長。嘉靖三十八年（1559年），蒙古兵犯遵化、玉田，馬芳因抗擊不力，被貶為都督金事。嘉靖四十年（1561年），與俺答部七戰皆捷，升總兵。嘉靖四十五年（1566年）十月，俺答以十萬騎兵犯萬全右衛，馬芳在馬蓮堡迎敵，令大開堡門，俺答部疑有伏兵，不敢輕入。入夜，馬芳下令出擊，於拂曉大破敵兵。《明史·馬芳傳》稱「大小百十接，身被數十創，以少擊眾，未嘗不大捷」，「威名震邊陲，為一時將帥冠」；詩人尹耕有詩：「威名萬里馬將軍，白髮丹心天下聞」。有子馬林。