Подаем на алименты в другом городе, может ли требовать биологический отец вернуть нас обратно?

Здравствуйте! Я жила с мужчиной. Замуж за него не хотела, предохранялась барьерной контрацепцией, но мужчина намеренно испортил контрацептив, чтобы я забеременела, дабы удержать меня при себе с помощью ребенка. В итоге я и забеременела. Родилась дочь, пожив еще немного с ним, я всё же не вытерпела и ушла, так как условия жизни были тяжелые, а он ни в чем не помогал. Дочь исправно с ним виделась, общалась, а отцовство было установлено официально, так как я рассчитывала на алименты, но с тех пор ни разу так и не подавала, так как он гвоорил, что всё равно сделает справку о минимальной з/п и будет платить копейки.. Сейчас я замужем и очень счастлива, у нас родился ребенок. Мы переехали в другой город (2000 км от прежнего). Тот мужчина был уведомлен, что мы переезжаем, расстроился, но согласился. Сейчас идем в первый класс, в музыкальную школу в новом городе, обжились. Но дочь всё еще прописана у него. Выписать пока проблематично, так как сама сейчас с грудным ребенком и не могу ехать на 2000 км с ним. Хотим подавать на алименты. Какие могут возникнуть подводные камни? Может ли требовать биологический отец первого ребенка через суд, чтобы мы вернулись обратно, или чтобы обязательно приезжали? Может еще какие-то палки в колеса может вставить в нашей ситуации, о которых мы пока не подозреваем? Заранее всем большое спасибо за помощь и уделенное внимание и время!