В быту часто можно услышить выражение Не действуй мне на нервы…

Думаю, что она вообще не корректна. Поскольку, это может ущемлять собственные права человека. Это можно отнести как к навязанию своего мнение, действие на психику, т.д. надеюсь, ты понял