Se for algo que ocorre constantemente, então não é problema na conexão (internet) em si.
Muito provavelmente deve ser uma "incompatibilidade" (não sei se é a melhor palavra para descrever isso) entre a sua conexão e de algum (ou alguns) colegas que estejam no tal grupo montado.
Faça o seguinte: monte um grupo e convide um desses colegas de cada vez para participar. Se um deles não conseguir entrar, então é porque há um problema de conexão entre vocês apenas!
Acho que isso não tem explicação!
É... eu sei... daqui a pouco vai aparecer uma galera aqui falando que pode ser que sua NAT não esteja aberta ou que as portas x,y e z tbm não estejam e tals... Mas isso não é necessariamente o único motivo de não dar para conectar com uma pessoa especificamente!
Eu tenho problema para conectar com um cara, mesmo nossas NATs e portas estando todas abertas!
(
Talvez vc tenha que mexer em alguma configuração entre o modem e o roteador: acho que o modem tem que ficar como "bridge" e "deixar o roteador fazer a conexão"... é algo do tipo! Eu não entendo disso.
Mas tem um bocado de gente discutindo e relatando o mesmo tipo de problemas aqui no fórum, basta dar uma procurada que vc vai encontrar um monte desses tipos de relatos, e algumas possíveis soluções. !thumbsup