Ông là người từng giữ 19 trọng trách trong chính thể VNCH qua các thời kỳ và nhiều lần từ chức. Tướng tá đấu đá nhau lên làm tổng thống, thủ tướng hầu hết mời ông vào mâm bát chính phủ để bộ mặt chế độ có phần sạch sẽ. Có lẽ người ta lợi dụng danh giá ông chứ chưa hẳn là yêu thích, biết đâu ông nghĩ có còn hơn không. Khi chính thể VNCH sắp sụp đổ, Nguyễn Văn Thiệu mời ông kế vị tổng thống, ai cũng chê cười ông già lẩm cẩm, tuy biết sẽ rước lấy cái nhục nhưng ông vẫn nhận vai trò.
Cuối đời, theo Nguyễn Quang Duy viết trên BBC:
(lược trích)
Người con trai đầu của ông Hương tên là Trần Văn Dõi tự là Lưu Vĩnh Châu theo Việt Minh ra Bắc khi biết ông Hương làm Thủ tướng có viết một lá thư nhờ ông Ung Văn Khiêm là Bộ trưởng Bộ Nội Vụ Bắc Việt trao cho ông Hương.
Ông Hương nhận thư, thảo luận với người con thứ tên là Trần Văn Ðính cả hai đồng ý chuyện quốc gia phải đặt trên chuyện gia đình, bởi thế ông đã từ chối không liên lạc với người con ở miền Bắc.
Cuối tháng 4/1975, Tòa Đại sứ Pháp ngỏ lời sẵn sàng đưa ông rời khỏi Việt Nam để đi Pháp. Ngày 28/4/1975 sau khi từ chức tổng thống, ông Hương dọn về ngôi biệt thự nhỏ và cũ nằm ở cuối con hẻm đường Phan Thanh Giản vách tường của ngôi nhà đã có nhiều chỗ nứt nẻ, nền nhà nhiều chỗ gạch vỡ tung lên, màu vôi không được trùng tu sơn quét.
Ngày 29/4/1975, Đại sứ Hoa Kỳ Graham Martin có đến nhà gặp ông Hương vừa để từ giã về nước, vừa để gởi lời Chính Phủ Hoa Kỳ mời ông Hương sang Mỹ lánh nạn, ông trả lời:
"Tôi là người lãnh đạo đứng hàng đầu của họ, tôi tình nguyện ở lại để chia sẻ với họ phần nào niềm đau đớn tủi nhục, nổi thống khổ của người dân mất nước".
Giáo sư Lâm Vĩnh Thế cho biết sau Hội Nghị Hiệp thương Thống nhất Hai Miền Nam Bắc, chính quyền mới muốn trao trả "quyền công dân" cho ông Hương tại ngôi nhà để tuyên truyền.
Bà Phan Cẩm Anh cho biết khi một cán bộ cộng sản đọc "chính sách khoan hồng và rộng lượng" của nhà nước đối với những "thành phần" như ông Hương, ông trả lời:
"Tôi xin phép từ chối, không nhận cái quyền công dân này vì dù gì tôi cũng là người lãnh đạo miền Nam, trong khi binh sĩ, nhân viên các cấp chỉ vì thừa lịnh của chúng tôi mà giờ đây vẫn còn bị giam cầm trong các trại cải tạo.
"Tôi sẽ là người sau cùng nhận cái quyền công dân này, sau khi binh sĩ và nhân viên của chúng tôi đã được thả và nhận lại quyền công dân."
Vì từ chối nhận "quyền công dân" ông Hương không được cấp hộ khẩu, không có phiếu mua lương thực, và còn bị quản thúc ba năm tại gia.
Ông Hương phải sống đạm bạc, thiếu thốn, ốm đau và cũng như những người miền Nam khác để có thể sống qua ngày ông phải bán dần đồ vật trong nhà từ bộ áo vest cũ đến những đồ kỷ niệm.
Cựu tổng thống Trần văn Hương mất ngày 27/1/1982, gia đình nghèo đến độ không còn tiền mua hòm, người tài xế cũ của ông xin được phúng điếu chiếc quan tài, người chủ trại hòm ở Chợ Lớn, một người Việt gốc Hoa, nghe nói mua cho ông Tổng thống xin chỉ lấy nửa giá tiền của chiếc quan tài.
Ông Hương có ước nguyện được chôn trong nghĩa trang Quân đội Biên Hòa để được nằm bên anh em binh sĩ nhưng không được chính quyền cộng sản chấp nhận, nên người nhà đã quyết định hỏa táng ông tro cốt được rải trong khu vực.
