不久，遭母丧去任，召还为吏部员外郎，升郎中。十二年（1185）五月，以地震应诏上书，极论时政十事，劝谏孝宗姑置不急之务，精专备敌之策，坚决反对一些人提出的放弃两淮、退保长江的误国建议，主张选用人才，积极备战。次年，任枢密院检详官兼太子侍读。十四年（1187），迁秘书少监。高宗崩，万里因力争张浚当配享庙祀事，指斥洪迈“指鹿为马”，惹恼了孝宗，出知筠州（今江西高安）。光宗即位，召为秘书监。绍熙元年（1190），为接伴金国贺正旦使兼实录院检讨官。终因孝宗对他不满，出为江东转运副使。朝廷欲在江南诸郡行铁钱，万里以为不便民，拒不奉诏，忤宰相意，改知赣州。
