赵贞吉好强一生遭排挤

赵贞吉病且两月，计取道永州入粤，过飞雄岭中瘴，止存皮骨，与妻子相向而泣，是时颇为狼狈，智勇俱困，卒赖王敬所之眷顾，得置于安全之地，抵贬所已是春末夏初。

嘉靖三十六年(1557年)，闻三殿灾，于是写信给执政严嵩，言大工复作，不宜提编加赋重困民，严嵩见大忤。

嘉靖三十八年(1559年)，赵贞吉的父亲赵绩谢世，他闻讣后归乡。

嘉靖三十九年(1560年)，升任南京户部右侍郎，因已闻讣归，遂未到职。

嘉靖四十年(1561年)，改户部右侍郎，严嵩欲遣其往蓟州掌督运粮草之事，赵贞吉以为此事原已有人司职，徒增一职无益于事，故而拒绝，严嵩大怒，使人论劾，竟夺官去职。

罢官归乡后，赵贞吉于内江桂湖街聚众讲学，从者甚众，并遍游内江各名胜寺庙，题诗刻石。

万历三年(1575年)，赵贞吉杜门谢客，不复会讲，汇秦汉而下三教遗言，作为内篇曰《经世通》 ，外篇曰《出世通》 ，汇三千年未经折衷之籍，聚为一书，作内外二篇都序。此书尚未撰成，至冬末，嗽疾复作，遂辍编。

万历四年(1576年)三月十五日(4月13日)，赵贞吉端坐而逝，享年六十九岁。讣闻抵京师，明神宗朱翊钧为之辍朝一日，谕祭褒扬，谥号"文肃"，追赠少保。