在對兵士進行自強御侮教育的同時，張之洞也在開「兵智」上下功夫，即設法提高士兵的文化素質(新軍將領多來自近代軍事學堂，文化素質相對士兵較高)。募兵方面，張之洞把文化素質作為一項重要條件，不僅予以明文規定，而且逐漸提高要求。
一八九八年，他在把工程隊擴充為工程營時，規定「專選二十歲以下兼能識字者方準收入」。一九零二年，又把「入營之兵必須有一半識字」列為「湖北練兵要義」第一條。
兩年後，更要求新募之兵「實能識字寫字並能略通文理」。這些規定充分說明張之洞對新軍文化素質的高度重視和對知識青年的熱忱歡迎。
湖北新軍也確實招收到大批知識分子，「秀士入營者頗多」。同時，張之洞也很重視士兵入營後的教育。一九零二年，張之洞在新軍各旗、營分設大、小「講堂」，闢設「閱報室」，這無疑有利于提高士兵的文化素質。特別是張之洞別出心裁，創設湖北陸軍特別小學堂，于士兵中考選「文理通順」者，令其「晝則來堂講求學科，夜則歸營」，「更番畢業，更番入營」，從而「于練兵之中寓普及教育之意」。
在編練湖北新兵的全過程，黎元洪一直是張之洞的最得力的助手和干將。
一九零三年，清軍改制，中央設立練兵處。朝廷計劃編練新軍三十六鎮。要求湖北，設置新軍兩鎮。一九零四年，張之洞奏明朝廷，湖北兩鎮的具體編制，每鎮步兵兩協（旅）炮兵三營，騎兵二營，工程、淄重各一營。每鎮缺少步兵一協，留待軍費充足後補充。
任命張彪為第一鎮統制兼攝協統。任命黎元洪為第二鎮統制。
這時候的黎元洪已經成為一名清廷的高級將領，成為湖北軍界的二號人物。
一九零六年，由于資金匱乏，湖北兩鎮的軍隊編制縮編為一鎮（師）一混成協（旅）。按著清廷練兵處的統一編制，湖北的第一鎮改為第八鎮，張標為統制。湖北的第二鎮改為第二十一混成協，黎元洪任協統。
在這個位置，黎元洪一直做到了武昌起義。雖然是二號人物，但在湖北軍界，黎元洪的威望比一號人物張彪要高很多。因為，無論是軍事素質，還是治軍有方，張彪都和黎元洪遠不在一個檔次上。黎元洪本身技術過硬，治軍嚴格，又極「知兵」「愛兵」，得到各界廣泛好評。
在一八九九年的四月，湖北剛開始練新軍時，法國一高級軍官羅勃爾利到湖北參觀，張彪設宴款待，黎元洪出席作陪。
席間，羅勃爾利隨口問一些軍事業務。這時身居高位的張彪，已經很少具體過問軍務。這是個變革的時代，新軍不同于舊軍，各方面知識更新很快。張彪有時甚至不知對方在問什麼，更不知如何回答 。尷尬中把眼楮看向黎元洪求助，黎元洪從容不迫，一一道來。
羅勃爾利離開時，張之洞率眾送行，他對黎元洪贊不絕口，說黎元洪是個「知兵之將」。
平日里，黎元洪對士兵的仁是出了名的。他在軍費的使用上精打細算，盡量壓縮不必要的支出。只要軍需有余，他都設法用在士兵身上，或改善伙食，或為士兵加餉加新衣。那時，無論是在舊軍隊，還是新軍，層層克扣軍餉，成為了慣例。但是在黎元洪的治下，這樣的事情是被嚴格制止的。
為了增收節支，黎元洪還在他的軍中，辦了個被服廠，自制軍衣和被服。這樣，就是在軍費得不到保障的條件下，他所部也能按時發放軍衣等用品。走在大街上，他所部人員衣裝整齊，和其它部隊的破破爛爛，成了鮮明的對照。時間長了，老百姓從著裝上就知道，哪些人是二十一混成協黎大帥的部屬。
黎元洪治軍嚴格，自己也能以身作則。那時的武漢駐軍，管帶以上的軍官，都自己住在私宅，是從不住在軍營的。黎元洪雖然家也早搬了過來，但他每月僅回家二次，余下時間都住在軍營的司令部。和士兵們一樣，听軍號作息。起床號響後馬上起床，自己打水洗漱，從不用護兵照料。
每逢佳節倍思親，軍營士兵都是離家之人，逢年過節是要想家人的。黎元洪不但很多時候，他做為父母官，在軍營陪著兵士們過年節，還常常要他的孩子，到軍營給士兵們拜年。
黎元洪升為協統後，月俸白銀五百兩。他在武昌中和門附近建了一幢中式樓房，市郊蓋一幢西式別墅。他也蓋了不少平房出租，家庭生活已經很富裕了。但是，他在平日中仍保持平民本色，甘願過清苦的軍營生活，和那些每日里花天酒地的官員門相比，成了另類。
黎元洪愛兵是出了名的。從小討飯和受苦受難得到幫助的經歷，也使他對有特殊困難的士兵特別同情，也常自掏腰包給予資助。
黎元洪尊重知識，愛惜和重用有知識的人。有一名宜昌籍的兵士，叫張之善。是秀才出身，因家遭突然變故，沒辦法養活年老的母親，無奈到兵營當兵。像黎元洪父親當年一樣，本想用微薄的軍餉奉養老母，不料其母雪天去山上拾柴，在山路上失足墜亡。
張之善聞訊，痛不欲生，既沒有回家的路費，也沒錢安葬老母。黎元洪得知後，個人拿出八十大洋，送與張之善，準他告假回鄉安葬老母。
因張之善在軍營中文化高，使軍營能盡其用。以陸軍小學會辦的名義，保送張之善為學兵。此事在軍營被傳為佳話，很多年里被人們傳誦。
章太炎在為黎元洪寫的碑文言道︰「治軍嚴仁，不濫軍需一錢，有余則以逮士卒，故所部軍裝整頓，絕于他軍。平居臥起，皆準軍號，不妄先後。夜必宿軍中，雖遇歲時不移。教士剴至，唯恐不盡其才，尤敬士大夫，一方歸心焉。」
章先生一生，很少夸贊人，對黎元洪算是例外。寥寥數語，公允的概括了黎元洪之治軍，也算是蓋棺定論了。當然，這為後話。
湖北陸軍，對指揮員有一特殊要求，不論是訓練還是實戰，長官的命令都必須在五分鐘內寫出。張彪每遇此，都是由幾個參謀官代勞。黎元洪則每次都是親自動手，無論是在行軍路上，還是在雨雪之中，隨時隨地都能在五分鐘內，寫出四五百字的命令。而且簡潔準確明了，屬下一看自明。此舉也在湖北軍中，成為一絕。這雖賴于他功底深厚，更在于他平時的學習與積累。
史書對此有記載︰「雖系一員武將，而平時手不釋卷，湖北督練處所印陸軍書籍，本本皆有黎元洪校閱之名。」
因為黎元洪有真才實學，做事又極為認真。凡遇有湖北軍中編制計劃、規劃，乃至決策什麼大事，張之洞都是依靠黎元洪。
而湖北軍中的一號人物張彪，則總是做為執行人。
如有的史書所言︰「文襄（張之洞）頗重黎氏，往往言听計從，凡軍事上的計劃，多取決于黎。……每有規劃，由黎擘定，文襄多使張彪執行。」
張之洞的愛惜和重用和黎元洪自身的努力，使他從從海軍到陸軍的一八九六到一九零六的十年間，由營幫帶升至協統，曾兼任過護鎮統制（軍長），品餃級別也從千總至守備，又晉升為都司，再晉為副將，可謂一路飆升，順風順水。
張之洞對黎元洪的欣賞和看重，是全方位的。有一次，眾人陪同張之洞到江邊巡視，張之洞看到岸邊停泊著剛從日本買回的「楚泰」號兵輪。來了興致，帶著眾人登船一游。
正和大家觀賞黃鶴樓和江邊美景，突然變天，狂風大作，浪濤滾滾。兵艦正在江心，劇烈的搖晃，幾近傾覆。這時傳來消息，因為是事發突然，兵艦上的舵手是臨時找的，不經風浪。在此種情勢下，大家都很怕，恐葬身大江。
緊急之中，張之洞想起，身邊的黎元洪是出身海軍，便命他江湖救急。黎元洪雖在海軍中不是專門舵手，但畢竟受過這方面的訓練，在海上經歷過大風大浪。一拿到舵盤，左旋右轉，鎮定操作，兵艦很快回復了平穩。大家虛驚了一場，懸著的心總算放下，也都對黎元洪更加敬佩。
平安上岸後，張之洞感慨萬分，贊揚黎元洪為「水陸兩棲有為，真才實學難得」。
跟隨香帥張之洞回湖北，到武昌起義發生的十五年里，黎元洪經歷了總督三易，巡撫二更。官場總有各種博弈，嫉妒和爭奪，同僚中也不乏對黎元洪中傷和陷害之輩。但因黎元洪對人的寬宏和厚道，都能使矛盾得到化解。除了因愛兵在兵士中獲得好口碑外，在同僚中也獲得好人緣和高威望。