Existe algo chamado Thermal Throttling que é uma espécie de dispositivo de segurança incorporado nos chips modernos (tanto CPU quanto GPU), que reduzem a frequência/desempenho do processador quando este atinge uma temperatura que possa colocá-lo em risco. Não sei ao certo como funciona nos consoles mas, como são praticamente um PC customizado, é bem provável que possuam algo semelhante. Ou podem simplesmente parar de executar o jogo e exibir uma mensagem na tela referente ao superaquecimento.
Outras coisas também podem influenciar, como algo no software do console (alguma problema com o cache ou uma atualização que não deu muito certo) ou, em um jogo online, a qualidade da conexão. Acontece no Forza Horizon 4, por exemplo: nunca percebi quedas de frames no meu
Xbox One X quanto estou "offline", apenas quando estou compartilhando o mundo do jogo com outros jogadores.