O JPEG guarda a imagem como blocos de frequências. A configuração de qualidade decide com que precisão essas frequências são mantidas. Acima de 85, os bytes extras vão para detalhe que nenhuma tela reproduz; abaixo de uns 60, os blocos começam a aparecer. Entre esses dois números é onde um compressor deve chegar, e este procura a maior qualidade que cabe no seu limite de tamanho.
Ele também remove os metadados EXIF (modelo da câmera, localização GPS, miniaturas), que sozinhos podem ocupar de 20 a 100 KB e são um risco de privacidade na hora de compartilhar. Uma foto tirada em casa carrega, sem você saber, as coordenadas da sua casa; o arquivo que sai daqui não carrega.
JPG e JPEG são o mesmo formato, só com extensões diferentes. O que vale para um vale para o outro.