乾時之戰以後，大獲全勝的齊軍在鮑叔牙的帶領下進入魯國，直逼曲阜。這讓魯莊公驚慌不已。然而出乎他的意料，齊軍前來，並不是要攻滅魯國，而是索取人質。鮑叔牙給魯莊公寫了一封信，其中希望魯國處死公子糾，並將召忽和管仲送回齊國。虛驚一場的魯莊公面對著齊軍大兵壓境，並未多想，便將公子糾殺死，召忽聞听此事，也自殺成仁。而管仲則被魯莊公抓起來，派人押送至齊國。
其實，魯莊公又一次上了齊國的當。鮑叔牙和管仲交情莫逆，怎麼會加害于他呢？這個主意其實是鮑叔牙的建議，當齊桓公打算拜他為相的時候，鮑叔牙毅然決然地以能力不足為理由推辭了，他明白只有經天緯地之才、濟世匡時之略的管仲才能輔佐雄才大略的齊桓公成就霸業。于是他建議齊桓公拜管仲為相。
原本齊桓公還在為管仲的一箭之仇耿耿于懷，但在鮑叔牙的一再推薦下，他對管仲的才能也起了興趣。便借口要手刃管仲報仇，將其從魯國要了回來。管仲是個絕頂聰明的人，他自然明白鮑叔牙的一番苦心。經過三天的齋戒、沐浴、更衣之後，齊桓公親臨驛館，恭恭敬敬地將管仲請到宮中問政，而管仲自然順水推舟，決定為齊桓公效力。
不過，年輕氣盛的齊桓公一開始並未完全听從管仲的建議。由于魯國之前一直與齊國不睦，之後又支持公子糾繼位，齊桓公對魯國可謂深惡痛絕。雖然在乾時之戰中獲得了勝利，但齊桓公並不滿足于自衛反擊的成果。于是，他不顧管仲的再三勸阻，于第二年發動了對魯國的戰爭。
應該說，剛剛從乾時之戰中恢復過來的魯國，此時確實不是齊國的對手。倘若再次失敗，大有可能從此一蹶不振，從此淪為齊國附庸。然而，魯國的一個下級貴族曹劌卻改變了這一切，他知道以魯莊公的軍事能力並不足以指揮魯國獲勝，便自告奮勇前往參戰。
曹劌同魯莊公曾有一段非常有名的對話，被記載在《左傳》中，原文如下︰
問︰「何以戰？」公曰︰「衣食所安，弗敢專也，必以分人。」對曰︰「小惠未，民弗從也。」公曰︰「犧牲玉帛，弗敢加也，必以信。」對曰︰「小信未孚，神弗福也。」公曰︰「小大之獄，雖不能察，必以情。」對曰︰「忠之屬也，可以一戰。戰則請從。」
曹劌否定了魯莊公靠小恩小惠收買人心和求神拜佛祈求神靈庇護的做法，而是建議魯莊公公正、公平、公開地對待下屬，只有這樣才能提振全軍的士氣。
齊魯兩軍在長勺（今山東曲阜東北）擺開了戰場。按照春秋時期的作戰方法，雙方先擂鼓激發士氣，然後出兵交戰。齊國仗著人多勢眾，率先擂鼓，發起了攻擊。魯莊公正打算擂鼓迎戰，卻被曹劌阻止；見魯軍不應戰，齊軍只好再次擂鼓，曹劌依然不理不睬；就在齊軍擂第三通鼓的時候，魯軍忽然鼓聲大作，兩軍交戰，齊軍居然被殺得大敗。在這場戰爭中，曹劌後發制人，利用「一鼓作氣，再而衰，三而竭」的道理，擊潰了強于自己的齊軍。後世稱之為「長勺之戰」，這也是中國軍事史上以弱勝強的著名戰例。
魯國本來在齊國的壓制下日漸衰退，但長勺之戰卻讓魯國國勢重振。受到這一戰役的刺激，當年魯國就趁勢進攻宋國，企圖再次提高魯國的地位和聲望。這給了齊桓公另一個進攻魯國的機會。原本長勺之戰的失敗並沒有讓齊桓公死心，于是他再次聯合了同魯國不睦的宋國，共同進攻齊國。
魯莊公原本打算堅守不出，但公子偃卻認為可以分而治之，各個擊破。相比起軍容嚴整、戰力較強的齊國，宋軍破綻百出。可以先擊破宋軍，齊軍自然就會退兵了。魯莊公並沒有听從公子偃的建議，但後者卻並不打算奉命。為了壯大氣勢，公子偃在馬匹上蒙了虎皮，偷偷率軍從南門出城攻打宋軍，魯莊公得知後也率主力隨後接應。宋軍果然不是鼓起士氣的魯軍的對手，被魯軍在乘丘打得大敗。齊國見此情況，只得退兵。第二年宋國為了報仇，再度興兵攻魯，可惜有齊國幫助的宋國尚且不能戰勝魯國，如今單獨出兵，自然更不是敵手。兩軍在地交戰，魯國先排好陣形，並趁宋軍尚未列陣完畢時就發動攻擊，再次將宋軍擊潰。
宋國沒來由地被卷進了齊魯的糾紛中，又連戰連敗，由此也引發了宋國的另一場內亂。原來在乘丘之戰中，宋國的猛將南宮長萬被魯莊公以金僕姑箭射中，活捉了去，後來在宋國的再三懇求下才被釋放回國。在迎接南宮長萬時，宋閔公隨口說道︰因為南宮淪落為魯國的囚犯，所以以後不會再尊敬南宮了。這本來是個無心的玩笑，沒想到卻因此斷送了宋閔公的一條性命。
南宮長萬被魯國羞辱，本來就心懷憤懣，被國君如此嘲諷，自然懷恨在心，于是決定造反。周僖王元年（公元前682年），南宮長萬發動叛亂，先在蒙澤殺死了宋閔公，又在東宮附近殺死了太宰華督，並立公子游為國君。宋國的公子們紛紛出奔曹國，並迅速組織起一支軍隊試圖打退南宮長萬。蕭叔大心以及公室其他族人向曹國借兵，殺回宋國，先殺了南宮長萬的族人南宮牛，又進入都城殺死了公子游，另立逃亡到亳地的公子御為國君，是為宋桓公。南宮長萬及其另一員手下猛獲倉皇出逃到陳國和衛國。宋國隨即與陳、衛交涉，希望將這兩人送回。衛國一開始還想庇護猛獲，但在大夫石祁子的勸說下還是將猛獲交了出來。而陳國在宋國許下的財禮的誘惑下，也樂得做個順水人情，便將南宮長萬灌醉，用牛皮裹緊送回了宋國。最終這二位都被處死。
經過這場內亂，宋國再次衰弱下去，無力與周邊諸國抗衡。同時，齊桓公也意識到以齊國現在的國力還無法稱霸諸侯，于是他將注意力轉向國內，在管仲的主持下開始了政治經濟體系的改革。
和魯國的爭斗沒有佔到任何的便宜，這對于執政伊始的齊桓公無疑是當頭一棒。但齊桓公不愧是一代明君，他並沒有因為暫時的挫折而畏縮不前，反而明智地認識到對于剛剛從內亂中平復的齊國，想要爭霸，還是要從內政做起。于是他任命管仲為卿，在齊國掀起了一場全面的改革。
隨著平王東遷和周王室地位的下降，宗法制在事實上已經土崩瓦解，那麼以宗法制度為核心的戶籍管理制度也需要相應的改革。春秋時期，各個諸侯國都有國（國都以內）、野（國都以外）之分。管仲將國都以內地區劃分為21鄉，分別為工、商和士居住，其中工鄉3，商鄉3，士鄉15，士鄉由齊桓公和高子、國子兩家貴族各管五鄉。鄉（2000家）下有連（200家）、里（50家）、軌（5家）。
從屬關系為︰五家為軌，十軌為里，四里為連，十連為鄉，分別由軌長、里司、連長、鄉良人（或鄉大夫）管理。國都以外地區為5屬（區），為農民居地。屬（9000家）下有縣（9000家）、鄉（3000家）、卒（300家）、邑（30家）。從屬關系為︰30家為邑，長官稱為邑有司；10邑為卒，長官稱卒帥；10卒為鄉，長官稱鄉帥，3鄉為縣，長官稱縣帥，10縣為屬，長官稱屬大夫和屬正長，由朝廷的五大夫直接管理。
管仲推行的這一制度稱為「參果伍鄙」制度，它廢除了分封制度下的貴族采邑，而代之以一種類似于後世郡縣制的體制。不僅是一種日常行政管理的基本架構，有利于人員管理和賦稅征收，它還直接與兵役制度結合起來，在齊國的爭霸戰爭中起到了重要作用。由于「參果伍鄙」制度使用了軌、里、連、鄉這種層層管理的體制，很容易在戰時轉化為軍事建制。
根據管仲的設計，國都下屬的二十一鄉中，除去工商六鄉外，尚有十五士鄉。每家都出一名壯丁參軍，一軌五家，便有五名兵士；以此類推，一里五十家，出五十名兵士；一連二百家，出二百名兵士；一鄉二千戶，出二千名兵士，五鄉一萬戶，出一萬名兵士，一萬名兵士編為一軍，十五士鄉共有三萬戶，則共有三萬名兵士，可編為三個軍，平時作為行政長官的軌長、里司、連長、鄉良人在戰時變為軍事長官，負責統領本地區所召集的士兵，齊桓公，國子，高子則分別統率一軍。
此外，管仲還改善了士兵的來源。春秋時期，後世那種以戰爭為職業的雇佣兵還沒有出現，各國普遍實行的是義務兵役制，也就是說，平日里安居樂業的老百姓，在戰爭時搖身一變就成為沖鋒陷陣的士兵，這就是所謂的入則為民，出則為兵，齊國自然也不例外。基于這一情況，管仲決定將「士」這一階層作為齊國軍隊的主要來源。
提起「士」，人們往往容易想到手無縛雞之力，只能舞文弄墨的儒生和秀才，其實那是很久以後的事情，春秋時期的「士」和這一形象相距甚遠，如果一定要找一個參照物的話，他們倒更加接近于西歐中世紀的「騎士」。春秋時期的士需要掌握六藝，即禮、樂、射、御、書、數，換句話說，一個標準的「士」應該文能提筆安天下，武能上馬定乾坤。所以，和農、工、商等階層相比，他們的素質相對更高。
如此一來，齊軍的個人素質大為提高，其戰斗力直線上升；不僅如此，軍事體制與日常行政架構聯系緊密，可以隨時進行無縫切換，這使得軍隊的建制更為規範，也大大提高了軍隊的作戰效率，同時還減輕了國民的負擔。
此外，為了提高軍隊的實際作戰能力，管仲還設計了一種行之有效的訓練方法︰規定軍隊每個季節都要外出打獵，一方面使士兵熟悉作戰技能，另一方面也有清除害獸，維護治安的作用。此外，管仲還要求士鄉之人不得隨便遷徙，並且要做到「祭相同福，死喪同恤」，世世代代相親相愛，這樣，兵士出于私交，就能夠「居則同樂，死則同哀，守則同固，戰則同強」，即使夜間做戰也能從聲音上辨別敵我，而白天作戰，只要看見容貌就能認清身份。
當然，軍隊的強大除了要提高軍隊的戰斗力之外，還需要先進的武器。春秋時期出現的冶鐵技術對農具和武器有著十分重要的意義。可是，如何才能迅速集中鐵原料呢？管仲想出了一個「寬刑贖罪」的法子︰他宣布，齊國的罪犯可以通過繳納武器盔甲甚至礦石的方法抵消刑罰。犯重罪可用甲與車戟等值的錢物贖罪；犯輕罪可用與車戟等值的錢物贖罪；犯小罪可以用銅鐵贖罪。這一制度不但解決了軍備來源，而且擴大了國家財政收入，也緩和了國內矛盾，收到了事半功倍的效果。
除了這些改革之外，管仲還針對舊時根據血緣確定官職的人才選拔制度做了部分修改，他自己就是一個破落貴族家庭的子弟，自然知道長久以來以門第論英雄的選拔制度早已跟不上時代的變化。
首先他無私地向齊桓公推薦了「五杰」︰明禮善辯的隰朋、熟悉農事的寧越、勇猛善戰的王于成父、清廉剛正的賓須無、直言無隱的東郭牙，他們都擔任了齊國的重要職務。其後又制定了全新的選舉制度，規定凡是人才，由鄉長和屬大夫向上推薦，朝廷重臣進行考評，桓公親自策問，稱為「三選」。地方官吏如埋沒壓制人才，治以「蔽賢」、「蔽明」罪。
不僅如此，管仲還建議齊桓公大力招募他國人才，派出八十名「游士」，多帶金銀財物，身穿綾羅綢緞，駕著寶馬香車，游覽四方，見到高人隱士立即延請回齊國。一時間，齊國人才濟濟，賓客盈門。
通過政治和軍事方面的改革，齊國已經具備了較為先進的政治體制和一支戰斗力很強的軍隊，但是要維系國家機器的運轉，還需要仰仗雄厚的經濟實力，因此管仲在經濟方面也進行了一系列的改革。