Надо ли в данном случае обращаться к нотариусу?

Добрый день, Максим!

С одной стороны

«Гражданский кодекс Российской Федерации (часть первая)» от 30.11.1994 N 51-ФЗ (ред. от 29.12.2017)Статья 188. Прекращение доверенности

1. Действие доверенности прекращается вследствие:

1) истечения срока доверенности;
2) отмены доверенности лицом, выдавшим ее, или одним из лиц, выдавших доверенность совместно, при этом отмена доверенности совершается в той же форме, в которой была выдана доверенность, либо в нотариальной форме;
3) отказа лица, которому выдана доверенность, от полномочий;

4) прекращения юридического лица, от имени которого или которому выдана доверенность, в том числе в результате его реорганизации в форме разделения, слияния или присоединения к другому юридическому лицу;
5) смерти гражданина, выдавшего доверенность, признания его недееспособным, ограниченно дееспособным или безвестно отсутствующим;
6) смерти гражданина, которому выдана доверенность, признания его недееспособным, ограниченно дееспособным или безвестно отсутствующим;
7) введения в отношении представляемого или представителя такой процедуры банкротства, при которой соответствующее лицо утрачивает право самостоятельно выдавать доверенности.

А также ничтожной признаётся доверенность

Статья 186. Срок доверенности
 

1. Если в доверенности не указан срок ее действия, она сохраняет силу в течение года со дня ее совершения.

Доверенность, в которой не указана дата ее совершения, ничтожна.

Ваших оснований нет (замена паспорта), однако я считаю, что Вам всё таки откажут так как идентификационные данные (например номер паспорта) отличны от того, что указаны в доверенности. Вы конечно же можете обратиться в суд в случае отказа в принятии Ваших полномочий, но я думаю Вам легче будет оформить новую доверенность.