Почему я должна отдавать телефон после сделки по обмену?

Здравствуйте. Живем с мужчиной 8 лет. От первого брака 2 детей. Уже в отношениях со мной (никак не узаконены) купил квартиру, но начались проблемы с финансами и 2 года кое-как тянули ипотеку, постоянно я помогала, переводила деньги, видя это банк и со мной связывался, просил, чтобы я помогла решить вопрос иначе речь шла уже о продаже квартиры через торги. Позже начались проблемы со здоровьем и был выбор: или 3 лица продать квартиру или ее продать мне, также в ипотеку с переводом долга. Но сумма которую я якобы должна была ему отдать в качестве части за квартиру передана не была, мы так договорились. Получается я забрала себе только ипотеку и плачу ее. Живем так же в этой квартире. Всех все устраивает, он подписал расписку, что деньги получены. Мы же ведь могли передать наличку и все на этом. Не всегда же деньги переводятся на счет. Дети никак не помогали никогда, они взрослые. Живут в другой стране. Раз в пол года созваниваются. Никогда не предлагали помощи. Квартирой не интересуются. Если вдруг с ним что-то случится не дай бог и они приедут, могут ли они оспорить сделку ? Ведь денег то я ему не передала, а только забрала ипотеку