児童扶養手当 返還

今年の４月まで児童扶養手当受給してたものです。去年半ばに子父に住所おかせてほしいと言われ私の住所に写し、一緒には住んでいなく、今年に子供が生まれ児童扶養手当申請してから区役所から連絡あり、住所一緒になってるため資格喪失なります。言われ住所置いた月から今年の４月分まで返還するよう言われたのですが一緒に住んでいないのに返還しなければならないのですか？返還する額もでかいので。