Pour mémoire.
Il s'agissait pour moi de faire l'inverse en fait, c'est à dire de ne pas forcer la connexion en https.
Pour cela, il faut aller dans le fichier /etc/apache2/sites-available/monsite.conf et commenter les lignes suivantes:
RewriteEngine on
RewriteCond "quelquechose"
RewriteRule "quelquechose d'autre"
Puis ajouter la ligne suivante:
RewriteEngine off