淳熙七年（1180年）再知隆兴府（今江西南昌）辛弃疾兼江西安抚使时，辛弃疾便拟在上饶建园林式的庄园，安置家人定居。
淳熙八年（1181年）春，开工兴建带湖新居和庄园。辛弃疾根据带湖四周的地形地势，亲自设计了“高处建舍，低处辟田”的庄园格局，并对家人说：“人生在勤，当以力田为先。”因此，他把带湖庄园取名为“稼轩”，并以此自号“稼轩居士”。
辛弃疾也意识到自己“刚拙自信，年来不为众人所容”，所以早已做好了归隐的准备。在被罢官时，带湖新居正好落成，辛弃疾回到上饶，开始了他中年以后的闲居生活。
辛弃疾在此失意之时，作下了《破阵子》一词，此词云：
醉里挑灯看剑，梦回吹角连营。八百里分麾下炙，五十弦翻塞外声，沙场秋点兵。马作的卢飞快，弓如霹雳弦惊。了却君王天下事，赢得生前身后名。可怜白发生。
在当时的，常有人贩子用一些财物或玩具诱骗年轻女子和小孩，称要娶女子为妻，或者是收养贫困人家的小孩，将人骗到手以后再转卖，牟取利益。
辛弃疾对这些人贩子深恶痛绝，虽然自己已经被罢官在上饶闲居。虽然身无官职，但是关心民生，也不是无事之人。在上饶还是有一些官兵好友，共同为当地老百姓谋取福利。
虽无官职，但是常年以来，辛弃疾一直都有练武的习惯。当地的地痞流氓都不敢惹事招摇，百姓安居乐业。
在当时有个人贩子集团，为头的人贩子头目叫李家琪，年仅二十多岁，长得油头粉面，经常打扮得花枝招展诱骗少女和小孩，然后转卖给其他州县的富人或烟花之地。
李家琪和他的姐姐李怜花都干着人贩子的勾当。其中团伙之中，男男女女共一十八人。他们都有一个名号，叫富淡十八绿。
他们偶尔会有一些堪称高明的计谋。例如，他们拐卖农村女子常用的招数，是让团伙里的女性骑着驴在各个村落之间游荡。一旦看到有乡间女性骑驴外出的，女人贩子就故意上前搭话，与被害人同行，一路上不停攀谈。在此期间，女人贩子暗中让驴逐渐加速，并偏离正常路线，这样，被害女性的驴也被带动加速，越走越偏，不知不觉间已经迷路，落入了人贩子的魔掌。
在拐卖儿童的方面，他们常用招数就是在点心里下药，诱骗给儿童食用。儿童食用之后就任凭他们的摆布。还有的人贩子会寻找独自在街上叫卖的小孩，以买东西没带钱为由，让小孩随自己回家拿钱，直接把人带到人贩子的窝点。
辛弃疾联合当地县令，抓捕这些人贩子集团，把那些困在窝点的妇女儿童全部解救出来。
富淡十八绿这个人贩子集团被一网打尽，全部被抓捕入狱，然后按照当时的大宋法律，全部判绞刑。
行刑场上，十八名罪犯被验明正身，然后当众宣判：
“诸略人、略卖人为奴婢者，绞刑；为部曲者，流放三千里；为妻、妾、子、孙者，徒三年。”
罪犯受诛，围观的百姓纷纷喝彩。辛弃疾深受当地百姓爱戴。