歲末，張名振猝死。死前曾言︰
「吾于君母恩俱未報，若母尸不獲，毋收吾骸。」
言畢起坐，擊床而逝，死不瞑目，猶凜凜有生氣。
後葬于普陀勾山南嶴村。張名振原本遺囑由張煌言統領其軍。
而鄭成功卻下令由陳六御接掌。
次年清軍再度佔領舟山，陳六御陣亡。
在將士的推戴下張煌言成為原魯監國系統軍隊的主要領袖，繼續同鄭成功聯合作戰。
順治十五年（永歷十二年、1658年），永歷帝封鄭成功為延平郡王，張煌言為兵部左侍郎。
同年清軍進至雲貴，鄭成功、張煌言進軍浙江，攻克樂清（今浙江溫州樂清）、寧海（今浙江寧波寧海縣）等地。
在羊山遇台風，損失巨艦百余艘，漂沒戰士八千余人，被迫撤回廈門。
順治十六年（永歷十三年、1659年），張煌言與鄭成功一起，為牽制大舉向雲貴地區進攻的清軍，再次率義軍入長江作戰。
先是，義軍抵達並佔領崇明。張煌言對鄭成功建議︰
「崇明，江、海門戶」，宜先將義軍「定營于此」，
稍事休整，務使義軍「進退有所據」。
但鄭成功未听從。當時，駐防長江的清軍，在瓜洲金、焦二山間橫上攔江鐵索（俗稱「滾江龍」），且在沿江兩岸遍置西洋大炮，防守頗為堅固。
張煌言卻率義軍乘十七條船機警巧妙地破壞了江防防線，在後援的鄭軍配合下，「翦江而渡」，于六月一舉攻佔瓜洲。
攻克瓜洲後，張煌言又向鄭成功建議全力攻取鎮江。
然鄭成功顧慮駐守江寧（南京）的清軍將趕往支援。
張煌言則主張可先派一支舟師水軍，佯攻直搗江寧北門，即觀音門，這樣「南京清軍自不暇出援」。
同時，他還提議這支水軍應溯江而上，前往蕪湖一帶活動，以防阻江楚方面清軍的來援。
鄭成功采納了意見，並命他向南京方向進攻。
此時，張煌言所率義軍將屬人數不滿一萬，渡江之舟不滿百艘，仍毅然率軍西行。
不久，張煌言攻克儀真，並進軍六合，沿途受到沿江民眾的熱烈歡迎，
「儀征吏民齎版圖迎降五十里外」。
當得悉鄭成功攻克鎮江後，張煌言又致信鄭成功，言及當「先撫定夾江郡縣」後，再從陸路進軍，直取南京。
但鄭成功未采納他的建議，「竟從水道進」。
致使有利戰機瞬間喪失，而南京清軍得以喘息並獲後援而鞏固城防。
六月二十八日，張煌言軍直抵南京觀音門外江面，停留兩日仍不見鄭軍的到來。
只得派遣別的將領率輕舟數十艘的水軍，「直（西）上攻蕪湖」，他自己則率軍駐扎在浦口。
待鄭成功率「水師」到達後，張煌言又于七月七日趕到蕪湖。
在此，他「部勒諸軍」，將義軍兵分四路，分道攻城略地，且在沿途「移檄諸郡縣」，張貼文告。
許多故明降清的舊官吏，見到文告，紛紛倒戈。
「于是太平、寧國、池州、徽州、廣德及諸屬縣皆請降」，使義軍很快便收復了四府、三州、二十四縣，城池近三十座。
義軍紀律嚴明，所過之處，對民眾百姓「秋毫無犯」。張煌言每「經郡縣，入謁孔子廟，坐明倫堂，進長吏，考察黜陟，略如巡按行部故事，遠近響應」。
致使出現「父老爭出持牛酒犒師，扶杖炷香，望見衣冠，涕淚交下，以為十五年來所未見」的空前盛況。
而「瀕江小艇，載果蓏來貿易者如織」，給義軍很大支持與鼓舞。
可是，這一大好形勢，卻因鄭成功率軍攻打南京城的失利，而很快急轉直下。
正當張煌言收復徽州時，聞鄭成功在南京城下兵敗之事，于是「還蕪湖收兵，冀聯合瓜洲、鎮江（義）軍為守計」，期待有利時機，再作他圖。
不久，張煌言又得到鄭成功軍已放棄瓜洲、鎮江等地，而退回海上的消息。
致使張煌言所率義軍處于進退維谷、月復背受敵的危險處境，很快遭致潰敗。
此際，清兩江總督郎廷佐一方面調遣水軍切斷張煌言義軍東退的水路，另一方面又寫信向張煌言勸降。
張煌言對招降書「拒不應」，同時，為擺月兌困境，又率「余兵道繁昌，謀入鄱陽湖」，向江西發展。
當義軍船隊進抵銅陵時，卻與湖廣來援的大批清軍水師遭遇，與之激戰而敗退。
最後，張煌言「撫殘兵僅數百，退次無為，焚舟登陸」。
又從陸路自桐城，取道霍山、英山，到達東溪嶺時，適逢清軍「追騎至，從者盡散」。
張煌言好不容易才突圍而出，只得「變服夜行，至高滸埠，有父老識之，匿于家數日，導使出間道，渡江走建德、祁門亂山間」。
此時張煌言身染瘧疾發作，幾不能行，但他仍不顧病痛，奮力疾行。
到達休寧後，「得舟下嚴州」。登岸後，又復行山路，途經浙江的東陽、義烏「至天台達海」。
歷盡千難萬險，兵敗後繞道潛行二千余里，九死一生，終于回到了浙江沿海地區。
此後，他「收集舊部」，準備東山再起。
鄭成功得到張煌言生還的消息後，也將自己的部分兵力撥歸他統轄，致使義軍稍有壯大。
張煌言將義軍屯駐長亭鄉，「築塘捍潮，闢田以贍軍」需軍餉。
同時，張煌言又派遣使者向桂王稟告自己兵敗的消息。
桂王得悉後，在敕書中表示安撫慰問的同時，又給他「加兵部尚書」的職餃。
順治十八年（永歷十五年、1661年）清廷為了肅清東南沿海地區的抗清勢力，頒布了「遷海令」，「廷議徙海上居民」，以斷絕對義軍的糧餉「接濟」。
義軍「無所得餉」，只得「開屯南田自給」。
當鄭成功率軍東征，從荷蘭殖民者手中收復台灣時，張煌言不理解此舉的重大戰略意義與價值，曾寫信給鄭成功，「移書阻之」。
不久，清軍直下雲南，終使南明永歷政權覆亡。
逢此危急之際，張煌言「遣其客羅綸入台灣」，催促鄭成功出兵閩南，一方面支持東南沿海人民反對「遷海令」的斗爭。
另一方面也可牽制清軍，以解永歷政權之危。
但鄭成功「以台灣方定，不能行」為由，加以拒絕。
于是，張煌言只得又遣使者到湖北的鄖陽山中，去說服「十三家兵」出戰。
「十三家兵」原為李自成起義軍的余部，由郝永忠、劉體純等部將率領。
他們以夔東茅麓山為根據地，堅持抗清斗爭。