根据婚姻家庭编的解释第五条规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，法院应当予以支持：双方未办理结婚登记手续；双方办理结婚登记手续但确未共同生活；婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。

如果符合上述情形，彩礼收受方拒不归还彩礼，那么给付方有权通过法律途径维护权益，此时彩礼不带回的行为可能因违反法律规定而被判定需承担返还责任。但要是不符合这些法定情形，比如双方已办理结婚登记且共同生活多年，彩礼在共同生活中已合理使用，那么彩礼不带回通常不涉及违法问题，更多属于夫妻间财产处置的范畴，由双方协商决定。