Comme je n'installe pas d'apache tous les jours, je mets ça ici pour mémoire.

Après installation d'un apache 2.4.x, je n'arrivais plus à accéder au site.

Erreur vue dans /var/log/apache2/error.log :

[authz_core:error] [pid 12345:tid 123456789012345] [client 12.234.56.78:12345] AH01630: client denied by server configuration: /path/to/folder/

Pour corriger ça, il faut aller dans la conf du site /etc/apache2/sites-enabled/monSite.conf.

Puis, dans chaque bloc Directory :

• supprimer les lignes Order allow,deny (ou qui y ressemblent);
• pour les remplacer par Require all granted.

Ainsi :

...
<VirtualHost [...]>
...
    <Directory /path/to/website>
        Require all granted
    </Directory>
...
</VirtualHost>
...

Pour mémoire.
Il s'agissait pour moi de faire l'inverse en fait, c'est à dire de ne pas forcer la connexion en https.
Pour cela, il faut aller dans le fichier /etc/apache2/sites-available/monsite.conf et commenter les lignes suivantes:
RewriteEngine on
RewriteCond "quelquechose"
RewriteRule "quelquechose d'autre"
Puis ajouter la ligne suivante:
RewriteEngine off