Как мне защитить свои права продавца в этой ситуации?

По общему правилу, потребитель может отказаться от товара, купленного дистанционно, в любое время до передачи и в течение семи дней после.

Но если товар исправен, то возврат возможен в случае, если сохранены  товарный вид, потребительские свойства, а также документ, подтверждающий факт и условия покупки.

Хотя отсутствие у потребителя документа, подтверждающего факт и условия покупки товара, не лишает его возможности ссылаться на другие доказательства (ст. 26.1 Закона «О защите прав потребителей»).

Поэтому нужно понимать на каком основании он обратился в суд — просто по 26.1 ЗоЗПП (отказ от товара в течение 7 дней), либо по причине ненадлежащего качества.

Если по качеству — то дополнительно нужно знать и о каком товаре идёт речь — относится ли он к технически сложным:

Постановление Правительства РФ от 10.11.2011 N 924
«Об утверждении перечня технически сложных товаров»

Это также влияет на применимые нормы, сроки, права потребителя и продавца.

Например:

Статья 18 ЗоЗПП Права потребителя при обнаружении в товаре недостатков

В отношении технически сложного товара потребитель в случае обнаружения в нем недостатков вправе отказаться от исполнения договора купли-продажи и потребовать возврата уплаченной за такой товар суммы либо предъявить требование о его замене на товар этой же марки (модели, артикула) или на такой же товар другой марки (модели, артикула) с соответствующим перерасчетом покупной цены в течение пятнадцати дней со дня передачи потребителю такого товара.

Хотя есть свои исключения.

После получения претензии Ему был направлен ответ на электронную почту, сначала в виде письма, потом в виде скана официального ответа. Он прочитал эти письма, так как велась переписка с просьбой ответить, он же просил ответит реальным письмом, но этого не было сделано.

Все эти письма тоже стоит зафиксировать.

В иделае нотариально, но это недёшево.

В качестве альтернативы можно просто сделать скриншоты этих писем и распечатать, поставить дату, подпись, расшифровку, печать (если есть). И указать в отзыве, что при необходимости готовы предоставить доступ к почтовому ящику для проверки судом идентичности копии и оригиналов писем.

Хотя предварительно, конечно, стоит показать эти письма юристу — стоит ли на них ссылаться в суде, не было ли там чего-то против Вашей позиции сказано.

В части доставки, кто именно должен был предоставить товар для проверки качества, тут надо смотреть какой именно это товар. В силу ст. 18 ФЗ «О ЗПП»

7. Доставка крупногабаритного товара и товара весом более пяти килограммов для ремонта, уценки, замены и (или) возврат их потребителю осуществляются силами и за счет продавца (изготовителя, уполномоченной организации или уполномоченного индивидуального предпринимателя, импортера). В случае неисполнения данной обязанности, а также при отсутствии продавца (изготовителя, уполномоченной организации или уполномоченного индивидуального предпринимателя, импортера) в месте нахождения потребителя доставка и (или) возврат указанных товаров могут осуществляться потребителем. При этом продавец (изготовитель, уполномоченная организация или уполномоченный индивидуальный предприниматель, импортер) обязан возместить потребителю расходы, связанные с доставкой и (или) возвратом указанных товаров.

Похожий случай в этой части разбирал ВС РФ

vsrf.ru/lk/practice/cases/10981157#10981157 

Определение от 21.03.2021 № 57-КГ20-16-К1.

Он прочитал эти письма, так как велась переписка с просьбой ответить, он же просил ответит реальным письмом, но этого не было сделано.

И почему реальным письмом не ответили?

Также надо понимать что это за товар.

Теперь Покупатель подал в суд в своём городе, на ИП пришла повестка по гражданскому делу. Ехать туда очень не быстро и не дёшево. Как мне защитить свои права продавца в этой ситуации?

 Обращаться в суд по месту его жительства это его право, основанное на ст. 17 Закона РФ «О защите прав потребителей» и оспорить факт подачи им иска по месту жительства тут не представляется возможным.

Однако Вы не лишены права подать возражение в суд на поданное исковое заявление с предоставление доказательств, подтверждающих Вашу позицию по иску, а также заявить ходатайство о рассмотрении дела посредством видео-конференц связи, что обеспечит возможность участия Вас в его рассмотрении по месту Вашего нахождения. 

В силу ст. 155.1 ГПК РФ

1. При наличии в судах технической возможности осуществления видеоконференц-связи лица, участвующие в деле, их представители, а также свидетели, эксперты, специалисты, переводчики могут участвовать в судебном заседании путем использования систем видеоконференц-связи при условии заявления ими ходатайства об этом или по инициативе суда. Об участии указанных лиц в судебном заседании путем использования систем видеоконференц-связи суд выносит определение.

Говорить о Вашей позиции по делу можно только после изучения иска.

Ну И по существу он не ответил на наш ответ, где было предложено выслать товар на проверку качества продавцом, как оговорено в законе (ведь должна пройти проверка качества, чтобы подтвердить брак).

 Если речь идет о возврате крупногабаритного товара, а равно товара весом более 5 кг., то Вы обязаны организовать его доставку для целей проведения проверки качества, что прямо указано в п. 7 ст. 18 Закона РФ «О защите прав потребителей» и то обстоятельство, что он Вам его не выслал — во внимание приниматься не будет.

Если товар менее указанного веса — то непередача его Вам для проведения проверки качества не является препятствием для обращения с иском в суд.

Не предоставление товара покупателем, а только ограничение последним демонстрацией своих требований, путем направления соответствующей претензии лишает продавца возможности своевременно организовать проверку качества товара и добровольно удовлетворить требования покупателя.
Без ознакомления с товаром продавец не имеет возможности проверить факт наличия в товаре недостатка, установить причины его возникновения и определить претензий покупателя. Поэтому согласно статьям 406, 416 ГК РФ до передачи потребителем товара продавец не имеет объективной возможности и правовых оснований исполнять свои обязательства и не может нести ответственность за просрочку исполнения требований клиента.

В этом случае, поскольку он допустил злоупотребление своим правом и обратился в суд без передачи товара, он может утратить право на получение компенсации морального вреда, штрафа и неустойки, но при этом, если подтвердится наличие в товаре недостатка — основные требования будут удовлетворены судом.