A página de ajuda do YouTube lista um limite de 2 MB para thumbnails enviadas pelo app do celular e de 50 MB pelo computador, com largura mínima de 640 px e recomendação de 16:9. A maioria das recusas vem de uploads pelo celular de PNGs de 3 a 6 MB exportados por apps de edição. A predefinição Thumbnail 1280×720 fica abaixo de 2 MB sempre; a predefinição 1920×1080 guarda mais detalhe e continua abaixo do limite.
Se você edita a thumbnail no celular e publica pelo app do YouTube, esse é o fluxo: exporte do app de edição, passe por aqui, e envie o JPEG que sai. Leva menos tempo do que descobrir por que o app não aceitou a imagem.