趙普三次上表懇切辭讓，宋太宗賜他手寫詔書說︰
"開國舊勛，只有你一個人，與他人不能等同，不要再推讓，等出發上路那天，我到你家來與你道別。"
趙普捧著手詔哭泣，于是請求帶病與宋太宗面談，宋太宗賜座與他面談很久，多談論國家大事，宋太宗贊許並采納他的意見，趙普即將出發，宋太宗來到他家。
淳化元年，趙普請求致仕，遂為西京留守、河南尹、太保、中書令。
呂蒙正以寬簡自任，政事多取決于王沔，王沔與張齊賢同掌樞務，關系很不好。
淳化三年，趙普三次上表以年老多病，請求告老，皇帝派出使者快速前來安撫慰問，並加太師餃、封魏國公，享受宰相待遇，讓他在家中養病。
俟損日赴闕，仍遣其弟宗正少卿安易齎詔書賜之，又特遣使賜普詔曰︰
"卿頃屬微瑑，懇求致政，朕以居守之重，慮煩耆耋，維師之命，用表尊賢。
佇聞有瘳，與朕相見，今賜羊酒如別錄，卿宜愛精神，近醫藥，強飲食，以副朕眷遇之意。"
是年七月十四日病卒于洛陽，終年七十一歲，宋太宗听到消息後非常震驚悲痛，對侍奉的大臣說︰
"趙普侍奉輔佐先帝，和我也有舊交情，他果斷能決斷大事，之前和我有些不愉快，這是很多人知道的事情。
我即位以來，常常待他優厚禮遇，趙普也傾盡全力效忠于我，對國盡忠，是真正的社稷之臣，我失去他非常痛惜。"
于是痛哭涕泣，左右大臣都非常感動，太宗追贈趙普為尚書令，追封真定郡王，賜謚忠獻。
次年二月，葬于洛陽邙山，宋真宗咸平元年追封韓王，咸平二年八月，趙普得以配饗宋太祖廟庭。
寶慶二年，宋理宗趙昀圖二十四功臣神像于昭勛崇德閣，趙普位列其中。
一次，宋太祖問趙普︰
"天下什麼東西最大？"
趙普沒有立刻做出回答，他的頭腦正在快速地思考著，他想，當然不可能是某種有形的東西了。
那麼，應回作父母最大呢，還是皇帝的皇權最大呢？就在趙普還沒考慮好答案的時候，宋太祖又問道︰
"世界上什麼東西比其他物件都大？"
趙普又想了一會兒，回答說︰
"世界上道理最大。"
宋太祖當即拍手稱贊說︰
"對，對，道理是人人都要遵守的，就是我當皇帝的，也要服從道理，你回答得妙極了。"
趙普出身小吏，比起一般文臣來，他的學問差得多，他當上宰相以後，宋太祖勸他讀點書。
趙普每次回家，就關起房門，從書箱里取書，認真誦讀，第二天上朝處理政事，總是十分敏快。
後來，家里人發現，他的書箱里藏的不過是一部《論語》，于是人們就流傳一種說法，說趙普是靠"半部《論語》治天下"的。
宋太祖死後，他的弟弟趙匡義繼位，史稱宋太宗。趙普仍然擔任宰相。
有一次宋太宗和趙普閑聊，宋太宗隨便問道︰
"有人說你只讀一部《論語》，這是真的嗎？"
趙普老老實實地回答說︰
"臣所知道的，確實不超出《論語》這部書，過去臣以半部《論語》輔助太祖平定天下，現在臣用半部《論語》輔助陛下，便天下太平。"
後來趙普因為年老體衰病逝，家人打開他的書箱，里面果真只有一部《論語》，所以又有"半部論語治天下"的說法。
趙普性格沉穩有城府，雖然很愛嫉妒別人，但能夠以天下為己任。
宋朝初年，當宰相的人大多心胸狹窄、因循保守，趙普剛毅果斷，沒有能與他相比。
宋太祖信任趙普，趙普也敢于在宋太祖面前堅持自己意見，有一次，趙普向宋太祖推薦一個人做官。
接連兩天，宋太祖沒有同意，第三天趙普上朝的時候，又送上奏章，堅持要求宋太祖同意他的推薦，這下可觸怒了宋太祖。
宋太祖把奏章撕扔在地上，趙普臉色沒有改變，跪在地上，不慌不忙地把扯碎的奏章拾起來，放在袖子里。
退朝回家以後，趙普把扯碎的奏章粘接起來，過了幾天，又帶著它上朝交給宋太祖，太祖方才醒悟，終于任用了趙普推薦的那個人。
再有一次，趙普要提拔一名官員，宋太祖不批準，趙普就像前次一樣堅持自己意見，宋太祖說︰
"我就是不準，你能怎麼樣？"
趙普說︰"提拔人才，都是為國家著想，陛下怎能憑個人的好惡專斷！"
宋太祖听了，氣得臉色變白，一甩袖就往內宮走，普不能入宮，堅持站在宮門外，過了很久，太祖終于同意。
當初，宋太祖地位卑微時，趙普跟他交游，得了天下之後，趙普屢次談起卑微時二人交往中的一些不足之處。
太祖性格豁達，對趙普說︰"假如在塵土中就可以辨識天子、宰相，那麼人人都可以去訪求了。"從此趙普不再談論。
趙普被譽為宋代開國元勛的功勞有二︰
一是參與策動"陳橋兵變"，二是參與策動"杯酒釋兵權"。
這兩件事，從史料所記載的史實看，其主謀和決策者仍是趙匡胤自己，而趙普在其中的分量有限，尤其是關于"杯酒釋兵權"，是否趙普的初衷？
除了朱熹將其完全歸功于趙普之外，學界迄今看法不一，有人認為趙普是主張動用武力即殺戮解決趙匡胤對于重臣的猜忌的。
而朱熹將此歸功于趙普，則旨在抬高《論語》的社會功能，但在"陳橋兵變"中，趙普確實是出了大力的。
然而，"陳橋兵變"不論從犯上作亂，還是從"兄弟相殘"的角度說，都是與《論語》大義相悖的，因為《論語》開宗明義地反對"犯上作亂"。
主張"仁"尤其是"己欲立而立人，己欲達而達人"，把為趙匡胤出謀劃策，通過發動"陳橋兵變"而獲得天下，說成是"以半部論語輔太祖定天下"，豈不是對于《論語》大義的背離和褻瀆嗎！？
趙普要是真懂《論語》卻說這樣的話，那可真是大言不慚了！