謝玄，東晉名將，一個周瑜似的人物！其文武兼備，立志挽救危亡、以圖恢復中原。他建立的‘’北府兵‘’，能征善戰，特別能吃苦耐勞，成為東晉最為精銳的武裝力量。
謝玄一生最大的錯誤就是時運不濟，雖然這本不是他的錯誤，可也在淝水之戰後所得的封賞不及劉牢之。謝氏一族本來也有機會像司馬代曹一樣，取代司馬氏，然而謝安、謝石、謝玄，都像棵稻子一樣在幾年之內死去，謝氏從此傾頹。
組建北府兵，屢敗強敵
謝玄，字幼度，陳郡陽夏（今河南太康）人，丞相謝安之侄。從小就聰穎過人，特別受到謝安的寵愛，無論到哪裡都要帶上他。謝玄小時候喜歡佩帶紫羅香囊，謝安對此很是擔心，於是便在一次做遊戲的時候設法把香囊取到手燒掉了，並勸說他以後別帶這種東西。謝玄很聽謝安的話，從此沒有再佩帶這一類物什。
謝玄長大後，顯示出超凡的治國才能，朝廷幾次召用他，他都推辭不受。後來他在大將軍桓溫手下做事，不久任徵西將軍桓豁的司馬、領南郡相、監北征諸軍事。
當時前秦皇帝苻堅特別強盛，稱霸一方，不止一次侵擾晉的邊境。東晉朝廷商議要挑選一位能夠防禦北方的良將，爭論了半天也找不出勝任之人，這時謝安推薦謝玄，中書郎郗超也稱謝玄確有將帥之才。於是朝廷即刻徵召謝玄回來，任他為建武將軍、兗州刺史、領廣陵相、監江北諸軍事，鎮守廣陵（今江蘇揚州）。
謝玄領命上任後，仔細分析了當時的形勢，然後，招募勇士，組成‘’北府兵‘’。他所招募的人多是從北方逃來的農民，這些人背井離鄉、歷盡磨難，有北上抗敵、重返故鄉的強烈願望。經過一段時期的嚴格訓練，成為一支能征善戰的勁旅。
太元三年（378）二月，苻堅派軍攻打襄陽（屬今湖北省），謝玄發兵前往救援，但兵到之時襄陽已被攻破。苻堅又派大將彭超帶兵七萬圍攻彭城（今江蘇徐州），謝玄帶軍一萬餘人急速趕去迎救，解了彭城之圍。
次年，秦將彭超、句難又帶兵南侵，相繼攻陷盱眙和淮陰兩地，東晉朝廷為之震動。秦軍又集六萬之眾圍攻三阿（今江蘇寶應），謝玄奉命從廣陵出發北上拒敵，在白馬塘與秦軍展開激戰，大破敵軍，於是解了三阿之圍。謝玄乘勝進軍，兩敗秦軍。
此次作戰之後，朝廷論功封他為冠軍將軍，加領徐州刺史，封東興縣侯。
淝水之戰以弱勝強
苻堅雖然遭到挫折，但滅亡東晉、統一天下之志絲毫未動。
太元八年（383）八月，苻堅率87萬軍眾從長安起兵，開始了中國戰爭史上規模空前的南伐戰爭。諸路軍馬水陸並進，聲勢浩盛空前。
東晉朝廷聽到訊息，驚恐萬分，全都束手無策。九月，東晉朝廷議定對策，派謝安都督揚、豫、徐、兗、青五州諸軍事，鎮守建康，以謝石為徵虜將軍，征討大都督，以謝玄為前鋒都督，帶兵八萬抗拒來軍，令胡彬帶水軍五千援救壽陽（今安徽壽縣）。
十月，前秦將領攻克鄖城（今湖北安陸），攻下壽陽，進逼硤石（今安徽鳳台甫），以五萬人屯洛澗（即洛河），立柵於淮水之中，以截斷晉軍前來救助硤石的道路。謝玄、謝石在離洛澗，25裡處設營，不敢前進。
十一月，謝玄派廣陵相劉牢之帶精兵五千，進軍洛澗，大破秦軍。秦軍崩潰，爭先恐後地奔逃，紛紛跌入水中，死亡一萬五千餘人。晉軍水陸並進，聲勢很洶，苻堅登上壽陽城瞭望，見晉軍陣勢嚴整，再向八公山上張望，便覺得那上面的樹木全是晉兵（‘’草木皆兵‘’），他大驚失色。
當天晚上，苻堅召集眾將領商議對策，最後議定要用計策擊敗晉軍，於是下令把小將旗列屯淝水以北，以示這裡並沒有大的將領駐守，以此來誘惑晉軍。謝玄見了便派遣使者去見苻堅的弟弟苻融（當時為秦陽平公，有文武謀略），對他說：‘’君懸軍深入，而擺陣臨水，這顯然是想長久相持，而不是速戰速決的架勢。如果你們的軍隊能將陣勢稍稍退卻一點兒，使得我軍能夠渡過河去，然後一決勝負，那多好啊！‘’
秦諸將對此建議都表示反對，而苻堅卻不以為然，他說：‘’答應他的請求好了，我們只要命令軍隊稍作後退，讓晉軍過河，在他們渡過一半的時候，我們發動騎兵突然衝殺他們的軍隊。這樣一來，哪有不勝之理呢！‘’苻融也贊同這種主張，於是下令讓軍隊後退。
軍中兵士奉命後撤，漸漸亂了陣角，後邊的兵眾也弄不清為什麼前面軍眾後退，這時被前秦俘虜且任尚書的原東晉梁州刺史朱序在後頭趁機大喊：‘’不好了，我們的軍隊失敗啦！‘’秦兵聞聽此言，頓時大亂，爭先恐後四處逃命，苻堅、苻融極力阻止卻無濟於事。
謝玄大喜，乘機帶兵迅速過河攻擊秦兵。苻融萬分焦急，騎馬在陣中來回賓士，想要制止後退計程車兵，哪裡還能阻擋得住？後退的秦軍和衝過來的晉軍混合在一起，難以分清，苻融跑了一陣被亂騎衝倒，晉軍見了趕緊衝上來，把他當即斬殺；此時苻堅也身中流箭。秦兵崩潰，謝玄乘勝追擊，直到青岡（今壽縣西北）。
秦兵自相踐踏而死的蔽野塞川；逃出戰場計程車兵，聽到風聲鶴唳，都認為是晉追兵到來了，嚇得喪魂落魄，晝夜不敢休息，加上飢寒交迫，死了十之七八。苻堅見大勢已去，只好單騎殺出重圍，逃到淮北。謝玄攻取了壽春，所獲儀服、器械、軍資、珍寶堆積如山，牛馬驢騾駱駝達十萬餘。
這就是歷史上著名的以少勝多、以弱勝強的‘’淝水之戰‘’。
遭司馬氏排擠，壯志未酬
太元九年（384）八月，謝安認為苻堅剛剛被挫敗，應當乘機開拓中原，於是以謝玄為前鋒都督，帶冠軍將軍桓石虔討伐前秦。
謝玄兵至下邳，秦徐州刺史趙遷聞風 喪膽，放棄彭城逃走。謝玄率軍進駐彭城後，派彭城內史劉牢之領兵攻打駐守鄄城的秦兗州刺史張崇，張崇敗走。晉軍佔領鄄城，河南城堡紛紛前來歸附，兗州很快 全部平定。謝玄又採用督護聞人的建議，分水修堤，疏通河道，解決了北伐軍糧的運輸問題。
十月，謝玄命陰陵太守高素領兵攻秦青州（山東 益邵），晉軍進至琅，秦青州刺史朗歸降。謝玄乘勢揮兵進伐冀州（河北冀縣），分遣諸將攻佔要地。劉牢之攻佔（山東茌平西南）
苻丕此時正在鄴城，被反秦復燕的慕容垂圍攻，無力抗晉，遣使請降。謝玄許降，此時晉軍聲威大震，三魏皆降。北伐晉軍已經平定了兗青、司、豫四州之地，東晉加封謝玄都督徐、兗、青、司、冀、幽、並七州軍事，並封為康樂縣令。
在謝玄統兵北伐接連取勝的同時，東晉朝廷內部的鬥爭又趨激烈，謝安受到會稽王司馬道子的排擠，自求北征，出鎮廣陵，不久病逝。司馬道子又以‘’徵役既久，宜置戍而還‘’為名否定了謝玄鞏固北伐成果的規劃，削去謝玄的兵權，命他回鎮淮陰。
謝玄功業不成，又遭排斥，心灰意冷，上書說：‘’追尋前事，可為寒心。臣之微身，復何足惜，區區血誠，憂國實深。‘’
不久，謝玄在歸途中身染重病，後於太元十三年（公元387年）正月病逝，終年46歲，追贈為車騎將軍。