蔡元培沒有在政治的洪流中迷失，更沒有被權力搞得忘乎所以、利令智昏。在參與了國民黨內的一些政治活動之後，很快回歸他一生矢志不渝所追求的教育事業。
應該說，這種對政治的有限參與，客觀上也使蔡元培獲得了實踐教育理念的難得資源。因為，對蔡元培來說，南京國民政.府的成立，為實踐他教育興國的理想又開創了一個新的舞台。
1927年4月27日，蔡元培被任命為國民政.府教育行政委員會委員。蔡元培即建議，仿效法國教育制度，在國民政府內不設教育部，而設「中華民國大學院」，作為全國「最高之學術和教育行政機關」。
蔡元培這樣做的理由，是「但求辦事上能增加效率，不因人設事，致成衙門化」。
他說︰「近來官僚化之教育部，實有改革之必要。欲改官僚化為學術，莫若改教育部為大學院。」
他的想法是不讓中國的教育事業行政化，而是走上專業化、學術化的路子。
大學院的特點是貫徹「以教育家辦教育」的思想。如，在院內設大學委員會，作為全國最高的教育立法機關，這個委員會由各國立大學校長、大學院教育行政處主任、國內專門學者這三部分人組成，委員長則由大學院院長兼任。這個委員會可推薦大學院院長的人選，議決國家教育的重大方案、政策，與政府各個部門保持相對獨立。
大學院內設院長一人，總理全院事務，下屬辦事機構僅設秘書處和教育行政處。
此後，年過六旬的蔡元培有兩年光景全力投入了在國內設立大學區的實驗。
所謂大學院，乃是參考法國的大學區制而實行的模式。將全國分成若干學區，每一學區以大學院為中心，全學區的中、小學都歸大學院管理，不再設立教育局之類的行政機構。這種體制的好處是突出了教育家治校，更尊重教育規律，而且教育在不同的地區的發展也會相對均衡。
蔡元培做北大校長時，深受教育部行政官僚之苦，對官僚統治深惡痛絕，所以很支持這樣的體制改革。
1928年，作為大學院院長的他，親自主持召開了第一次全國教育會議。大學校長及各省教育主管與會，共商教育改革方向。
正是在這次教育體制改革中，蔡元培的美育精神得到了進一步的發揚。
在確定了大學院為全國最高學術教育機構之後，蔡元培進而突出了科學、藝術、勞動三者在教育中的地位︰「大學院以科學化、藝術化、勞動化相提倡，大學必須具備這三種精神。」他倡議，要在大學區中設立勞動大學，提倡勞動教育。更要「設音樂院、藝術院，實行美化教育」。
這就在過去已有的德育、智育、體育之外，再加上勞育、美育，德、智、體、勞、美五育並舉，方為完全之教育。
而且，在蔡元培看來，美育還要進一步走向社會︰「美育為近代教育之骨干。美育之實施，直以藝術為教育，培養美的創造及鑒賞的知識，而普及于社會。」
蔡元培要求大學院把藝術看得和科學一樣重要︰「藝術能養成人有一種美的精神，純潔的人格。」
在蔡元培的積極推動下，在大學院下籌備設立藝術教育委員會，以推進全國的藝術教育。大學院在蔡元培的主持下，很快在上海創建了國立音樂學院，請音樂家蕭友梅當校長。接著，又迅速在杭州創辦了國立藝術學院，請畫家林風眠任校長。由此開始，藝術教育在江南地區蓬勃發展起來。大學院在1928年還支持美術教育委員會向社會推進美育，籌備全國美術展覽會，這在國內屬創舉，成為中國文化界的一大盛事。
在大學院時代，蔡元培廣開賢路，設置了特約著作員制，專聘國內學術上有貢獻的專家、學者，任其自由著作，大學院給予特殊津貼。這時魯迅也已在上海自由寫作，蔡元培為他頒發了聘書。
中華民國大學院特約著述員(又稱特約著述員)，這是一個不用上班就可以拿到300圓干薪的職位。
一年之後，這個職位又在蔣夢麟任部長的教育部里改名為「教育部編輯費」。
蔡元培曾在他的《我在教育界的經驗》中說過︰「大學院時代，設特約著述員，聘國內在學術上有貢獻而不兼有給職者，听其自由著作，每月酌送補助費。吳稚暉、李石曾、周豫才（魯迅）諸君皆受聘。」
魯迅的這筆「補助費」長達4年1個月，共計有14700銀圓，數目不小。
1930年12月，蔣夢麟辭去了教育部長之職，到北京大學當校長，國民政府于12月4日改聘高魯為教育部部長。
高不到任，于是，6日起，就由蔣介石親自以行政院部長兼任了教育部部長。15日，又任命李書華作為他的政務次長。蔣介石兼任這個教育部部長，一直到1931年6月18日，達7個月。接著就由李書華繼任教育部部長，到1932年的1月8日為止。
就在蔣介石兼任教育部部長的期間，據許廣平說，有人去向蔣介石告密，說︰「現在部里的特約編輯周豫才，就是周樹人——魯迅，也就是最激烈地反對你的中國自由運動大同盟和中國左翼作家聯盟的發起人和這兩個團體的頭子，也就是浙江國民黨省黨部呈請中央通緝，並已通緝在案的這個人。」
告密者的意思，原來是提請蔣介石注意此事並加以處理，借此邀功。
可是，蔣介石听了，反而說︰「這事很好。你知道教育部中，還有與他交好的老同事、老朋友沒有？應該派這樣的人，去找他，告訴他，我知道了這事，很高興。我素來很敬仰他，還想和他會會面。只要他願意去日本住一些時候，不但可以解除通緝令，職位也當然保留；而且如果有別的想法，也可以辦到。」
許廣平說︰「後來教育部來了人，說了這事，魯迅拒絕了。然而，還拖了幾個月，想爭取；到年底，就把這個特約編輯(特約撰述員)的職位裁撤了。」
這時的南京國民黨政權已日益走向集權，越來越不容許有在國家中獨立于其掌控之外的領域出現。這應該也是現代國家制度建立起來之後，一切集權政治的必然趨勢。
「清黨」之後的蔡元培漸漸與蔣介石疏遠，力圖在國民黨內保持一種「超然」態度，然而，在非友即敵的政治氛圍中，不可能允許真正的「超然」存在。蔡元培的態度加深了他與蔣介石國民黨政權之間的罅隙。
1928年，南京的蔣氏政權初步鞏固後，為把文教事業也完全掌握在其手中，一些政客開始排擠蔡元培。
陳果夫、丁惟汾等堅決要求廢止大學院制度，他們的理由是︰「大學院的機關，明明列在國民政府組織案中，當然在國民政府之下，和其他各部院同一性質，何以大學院門口所懸的招牌，不稱國民政府大學院，大書特書而曰‘中華民國大學院’？是否表示教育獨立，大學院和國民政府並列？」
面對國民黨內政客的一系列爭權奪利的政治手段，1928年6月15日的大學院委員會會議上，蔡元培憤然要求辭去大學院院長職務。會後，他感慨地對胡適說，他從不曉得社會這樣復雜；他應付不了這樣復雜的社會，干不下去了。
蔣介石控制的南京國民黨政權一方面廢置大學院制，另一方面，于這年8月通過《北平大學區組織大綱》，以北平為中心設立北平大學區。
在取消大學院的提議和《北平大學組織大綱》通過後，8月17日，蔡元培公開宣布辭去他的國民黨中央政.治.會.議委員、國民政府委員、大學院院長、代理司法部長等職，專任中央研究院院長。
盡管遠離了權力圈，但蔡元培仍然利用他在國民黨內的聲望和資本，為教育事業爭取盡可能多的資源，努力爭取教育經費獨立、增加經費、提高老師待遇。
1929年6月，南京國民黨政權作出取消所有大學區制的同時，又決定設立國立北平研究院，以削弱蔡元培以及他領導的中央研究院在國內的影響力。
同時，南京國民黨政權還處處與中央研究院為難。1930年1月，在蔣介石親自主持的國民黨中央政.治.會.議上，勒令中央研究院在上海動工興建的物理、化學、工程三個研究所的工程立即停止，于4月以前遷往南京。
不久，親近蔡元培的蔣夢麟也被從教育部長的職位上逼走，由蔣介石以行政院長的名義兼任教育部長，由李書華為政務次長，後又提拔其為教育部長。這樣一來，蔡元培的影響力日漸被完全排除到了南京國民政府教育部的領導體系之外。