回到家鄉後，曹時中深居簡出，從不拜訪縣令、知府等地方官員。當然，他也親身從事一些家務勞動，有時還操一葉小舟，親自搖櫓，採擷蘋藻，以作祭祀之用。閒暇時，曹時中就讀書賦詩練字。他最喜愛懷素的草書，有時候整天整天地揮毫練習，一點也不感覺疲倦。晚年，曹時中邀集鄉中一班六七十歲的老人，組成一個“安耆會”，大家在一起飲酒賦詩聊天，好不歡暢。明武宗正德四年（1509），松江地區發生大災荒，曹時中貸米百石，散發給災民；又不顧78歲的老邁之身，走街串巷，動員富戶出錢出糧，救濟災民。據人們估算，曹時中憑著一顆赤誠之心，竟然救活了上萬名受災百姓。曹時中的酒量很大，而且喜歡豪飲——當然，無論飲多少，他總能剋制自己，從來沒有失去禮節；可是，在那段救災的日子裡，他只吃蔬菜，滴酒不嘗。有人請他赴宴，他都謝絕說：“不少老百姓，連飯也吃不上，我怎麼忍心如此享受呢！”
曹時中由於當官的時間短，職位也不太重要，因此《明史》沒有為他立傳。不過，在《明史》中的《林俊傳》與《隱逸傳》都曾提到他：明孝宗弘治十四年（1501），右籤都御史林俊向孝宗皇帝提議，讓曹時中到京城裡來，擔任皇太子的老師。因為在林俊的眼中，學問淵博而又“德行可取者”、適合擔此重任的，只有兩個人，一個是退休官員曹時中，另一個是布衣劉閔。不知是孝宗皇帝沒有同意呢，還是兩人都不願意，這個提議沒有成為事實。於是林俊多次請求退休，並推薦曹時中接替自己的職務。大概因為曹時中已是七十高齡吧，孝宗皇帝又沒有同意。
土木之變
曹時中有個哥哥，名叫曹泰，字時和，明代宗景泰五年（1454）考取了進士。有必要介紹這一段明朝歷史了：明英宗朱祁鎮在位時，因在與北方瓦剌部作戰中大敗被俘，大臣們擁立其弟朱祁鈺為帝，改年號“景泰”，是為明代宗。後來瓦剌放回英宗，代宗尊他為“上皇”，讓他閒居於南宮。若干年後，另有大臣乘朱祁鈺生病，擁朱祁鎮復辟。朱祁鈺聞訊，很快病逝。本來，曹泰考取進士後就該授以官職了，可是很不巧，在一樁官司中受到牽連，有人誣陷他如何如何。曹泰“性淳實”（崇禎版《松江府志·曹泰傳》），沒能洗刷自己，於是沒被任用。英宗復辟之後，有人替他申訴冤屈，雖然經過查核，曹泰確實沒有問題，可是英宗皇帝卻找了兩個藉口，仍然不肯起用他：一則他的名字觸犯了代宗皇帝的年號；二則他是代宗在位時錄取的進士——英宗心裡正恨透了這個“奪”了自己皇位的弟弟呢！至於曹泰的姓名早早出現於“景泰”的年號之前，而且從未有因觸犯年號而改名的，這些都不必考慮了，總之，解釋權與任用權都在皇帝朱祁鎮手中呢。幾個月後的一次朝會中，忽然又收到一封匿名信，英宗命令嚴查，有人又乘機誣陷曹泰。英宗也恍然大悟似地連連點頭說：“對，一定是此人，他是怨恨我沒有任用他啊！”說完，就傳下聖旨：立刻將曹泰逮進京城問罪！於是，逮治犯人的緹騎飛快地直奔松江而去。
明英宗朱祁鎮（1427年11月29日—1464年2月23日）
松江知府與曹泰同年考中進士，他非常欽佩曹泰的人品與學識，聽到這個訊息後，就竭盡家財賄賂朝廷的使者，在緹騎到達曹家門前時，請求先進去與當事人說幾句話。見到曹泰後，知府流著眼淚說：“你趕快從後門逃跑吧，由我來替你頂罪。”曹泰卻鎮靜地說：“這是皇上欽點的案子，到處都有羅網，我能逃到哪裡去！”便坦然走出家門，坐進了囚車。到了京城後，曹泰受盡了各種殘酷的刑罰，到最後，實在捱不下去了，只得低頭誣服，於是被打進了死囚牢。到了冬天，在朝廷給囚犯們稽核定罪的階段，忽然有人猛擊登聞鼓，並號啕大哭著，跪在朝堂前說：“當日投寄匿名信的，是小人我啊！那時候我的母親還活著，如今她老人家已經去世了。我為了不連累母親而欺騙了皇上，又陷害了無辜者，還有什麼面目站立於人世間呢？請趕快將我捉拿法辦吧！”文武大臣們無不大驚失色，一審訊，原來，指使與逼迫此人的，是曾在內閣任職的某位官員。真相既已大白，曹泰才被無罪釋放。可是，連番酷刑，他的肢體嚴重受損，已經成為一個殘疾人。回到家鄉廣富林鎮後，曹泰再也不能勞作，只能以詩文辭章度過餘年了。當然，他仍然以頑強的毅力，完成了自己的專著《九峰集》。
曹時中大約病逝於正德十六年（1521）。由於曹泰與曹時中兄弟都富於才華而又為人正直，松江一帶的人們讚美這哥兒倆是“富林二曹，一時人豪”。或許，哥哥的不幸遭遇，也是弟弟早早地辭去官職、閒居家鄉四五十年的重要原因吧？
