이들 포로들 중에는 조선에 돌아오기 싫어해 일본에 정착한 사람들도 존재했다. 링크 실제로 고향을 그리워한 사람도 있었지만 반대로 돌아가길 거부한 사람들도 있어서, 조선 통신사들의 기록을 보면 쇄환에 미온적인 태도를 보이는 현지 정착 포로들을 보며 통신사들이 분개하거나 어이없게 생각한 경우도 많이 보인다. 여기에는 나름의 이유가 있었는데 조선에서 귀환 포로들을 잘 대해준 것이 아니었으며 오히려 신세가 고국으로 돌아갈 때가 비참해졌기 때문이다. 특히 연려실기술 17권에 보면# 1605년에 승려 유정이 데리고 온 귀환 포로 3천 명은 통제사(제6대/제9대) 이경준(李慶濬)이 맡았고 해군 선장들에게 일임했는데 선장들이 출생한 곳을 물어도 어릴 때 포로가 되어서 본계를 자세히 알지 못하면 모두 자기의 노비이라 칭하고, 아름다운 여자는 그 남편을 묶어서 바다에 던지고 마음대로 자기의 소유로 만들었다고 한다. 그 후에 강홍중이 포로 146명을 데려왔지만 부둣가에 방치되어 마찬가지 대접을 받았다. 이런 추태가 소문으로 퍼지자 이문창이란 조선인이 "본국으로 돌아가 봐야 좋을 게 없다"는 말을 퍼트려 송환을 기피하는 조선인들이 많아져 더욱더 송환은 어려워지게 되었다. 그 당시 일본에 끌려 왔던 조선인 포로들은 일본에서 농노로 정착했던 부류가 많은데 고국말도 잊은지 오래된 상황에서 가고 싶은 생각이 없던 것은 당연한 생각이기도 했다. 그래도 돌아가려는 포로들은 일본에서 경제적으로 고생하고 있는 자들이 대부분이었다.