大清第一有福之人，該有的都有了，卻什麼事都沒幹

道光帝起初並不十分看好潘世恩，這一點從潘世恩入朝的前幾年便可以看出。

從道光七年至道光十二年，潘世恩的主要工作職能還是集中在「學」上，最頻繁的就是任命他為鄉試、會試主考官，以及殿試閱卷大臣，並長期主持翰林院工作。

潘世恩主持過的鄉、會試足有十餘次之多，也成就了他「桃李滿天下」的美名。穆彰阿、卓秉恬、寶興等皆出自他的門下。

道光十三年，兢兢業業的潘世恩時來運轉。當年四月，道光帝超授他為體仁閣大學士。為何說是「超授」呢？按照清代的官制，大學士出缺，例由協辦大學士升任，六部尚書難以獲缺。

從乾隆朝開始，大學士必經協辦，即便是如傅恆、和珅、福康安那樣的寵臣，也少不了這一步。

潘世恩當時是吏部尚書，論資歷威望都不足以入閣。故而有了「大拜不經協辦，此異數一」說法。道光帝之所以越級提拔潘世恩，主要是經過數年的考察，看中他身上保守、謹慎、順旨的特點。

拜大學士的次年，即道光十四年五月，潘世恩入軍機處。軍機大臣和大學士一樣，有著鮮明的等級之分，剛入軍機處的，稱為軍機大臣上行走，可以理解為「見習軍機大臣」。

潘世恩的情況則不同，一上來就去掉了「行走」二字，故而有人說他「樞廷不始學習，此異數二」。又過了一年，潘世恩在內閣的位置往前挪了一席，由體仁閣晉東閣，不過此次人事變動，屬於正常現象。

道光十四年的軍機處，按名次先後排名分別是曹振鏞、文孚、王鼎、潘世恩、穆彰阿。

道光十五年，首席軍機大臣曹振鏞病逝，文孚接替首席。王鼎因為經常出差，負責清查大案和鹽政，以及治理黃河，因此潘世恩在軍機處排在第二。