题主给的情景不完整，不能做出更详细的分析。就看给到的信息的话，我理解的就是：大家都知道你是故意不去的。这样子的话，确实是不大好的。至于这个说这种话的人可能是因为身份关系，替请吃饭的人抱不平但是我能确定，这人对题主是不友善的。
