Как действовать, если работодатель хочет изменить мое рабочее время?

Здравствуйте. В принципе Вы можете и не подписывать, но тогда работодатель может применить ст. 74 ТК РФ

В случае, когда по причинам, связанным с изменением организационных или технологических условий труда (изменения в технике и технологии производства, структурная реорганизация производства, другие причины), определенные сторонами условия трудового договора не могут быть сохранены, допускается их изменение по инициативе работодателя, за исключением изменения трудовой функции работника.

При это как поясняет Роструд 

К числу организационных изменений могут быть отнесены: 

— изменения в структуре управления организации; - внедрение форм организации труда (бригадные, арендные, подрядные и др.); 

— изменение режимов труда и отдыха; - введение, замена и пересмотр норм труда; 

-изменения в организационной структуре предприятия с перераспределением нагрузки на подразделения или на конкретные должности и как следствие изменение систем оплаты труда. 

https://git55.rostrud.ru/sovet...

но опять же пояснение Роструда говорит о том, что система оплаты труда у Вас тогда меняется. Если же оплата труда не меняется,  тогда Вы можете и не соглашаться с новыми условиями. Ст. 72 ТК РФ

Изменение определенных сторонами условий трудового договора, в том числе перевод на другую работу, допускается только по соглашению сторон трудового договора, за исключением случаев, предусмотренных настоящим Кодексом. Соглашение об изменении определенных сторонами условий трудового договора заключается в письменной форме.

так что по итогу надо смотреть, меняется у Вас оплата или нет.