李隆基憤怒了，他知道是要時候讓張說動一動位置了，之後的事情就簡單了，但皇帝想換你的時候，只需要輕輕暗示一下，下面的人就會遞刀子，各種罪狀就會如雪花般飛過來，況且張說的確是得罪了太多的人。
結果就在泰山封禪後的半年，張說便從人生的頂點重重跌落，李隆基面對呈上來的張碩的各種罪行，最終讓他直接退休了。
從此他傳奇的政治生涯就徹底結束了，開元十九年去世，唐玄宗在光順門爲他舉哀，親自撰寫神道碑文，並罷元旦朝會，追贈太師，賜諡文貞。
畢竟是府邸舊臣，唐玄宗對他還是很不錯的，張說對推動開元盛世，做出了巨大的貢獻，但也改變了唐朝的兵制，對唐朝此後的歷史走向，產生了不可估量的影響。
