3分程度のペナルティであれば大賛成です。
フレに呼ばれた？そのフレって3分程度のペナも許容してくれないの？（言い方が悪くて申し訳ないですが……）
その時マッチングした他人に対して迷惑がかかってるし、どんな理由であれ辞退ならペナルティがあって然るべきと思います。
で、まあある程度短い3分程度ならフレにしても待ってもらえるでしょうし、それである程度シャキキャンで遊ぶ人も抑制出来るのではないかと思います。