男子购买高档烟后发现掉包成低价烟并退回是一种不正当交易行为，涉及到消费者权益和交易公平性问题。在这种情况下，可以采取以下措施

1、保持冷静：在处理此类问题时，保持冷静和理性非常重要。

2、收集证据：保留购买高档烟的凭证和退回的证据，包括交易记录、聊天记录等。

3、与商家沟通：与商家进行沟通，了解具体情况，如果商家承认错误并愿意解决问题，可以与商家协商解决方式。

4、寻求法律帮助：如果商家拒绝解决问题或不愿意解决问题，可以考虑寻求法律帮助，可以咨询律师或消费者协会，了解自己的权利和维权途径。

在处理此类问题时，建议遵守法律法规，尊重交易公平性和诚信原则，也要注意保护自己的合法权益，维护自己的利益不受侵害。