In september bevestigde Google dat zij in november van dit jaar zullen beginnen met het indexeren van websites die gebruik maken van het HTTP/2-protocol. Dankzij HTTP2 kan Google tijdens het crawlen efficiënter omgaan met de servercapaciteit en resourcegebruik.
Wat is HTTP/2?
Het internet maakt gebruik van het HTTP(S)-protocol om webpagina’s te kunnen tonen. Dit protocol is sinds 1997 in gebruik en inmiddels behoorlijk verouderd. Daarom is er een aantal jaren geleden een nieuwe variant op dit protocol ontwikkeld: HTTP/2. Dit nieuwe protocol is robuuster, efficiënter en sneller dan HTTP. Het is daarnaast ook nog eens veiliger, omdat browsers HTTP/2 niet ondersteunen zonder minimaal TLS1-encryptie.
Dankzij de nieuwe architectuur waarop het protocol is gebouwd, is het mogelijk om meer functies voor clients en servers te leveren. En juist dat is de reden dat Googlebot over gaat naar HTTP/2.
“Met h2 is Googlebot in staat om een enkele TCP-verbinding met de server te openen en efficiënt meerdere bestanden parallel over te sturen, in plaats van dat er meerdere verbindingen nodig zijn. Hoe minder verbindingen er worden geopend, hoe minder middelen de server en Googlebot moeten besteden aan crawlen.”
Hoe implementeert Google HTTP/2-crawling?
Zoals we gewend zijn van Google, wordt het crawlen van websites op het HTTP/2-protocol gefaseerd ingevoerd. In de eerste fase zal Googlebot een klein aantal websites crawlen die op het protocol draaien. Geleidelijk aan breidt Google dit uit naar meer sites waarvan de zoekmachine denkt dat zij veel voordeel van de ondersteunde functies zullen hebben.
Google beslist dus zelf welke sites er baat bij zouden hebben. Dan kijken zij of de site HTTP2 ondersteunt én of het voor Googlebot de moeite waard is deze website via HTTP/2 te ondersteunen.
Wanneer kan jouw website in aanmerking komen?
Niet iedere website draait op het HTTP2-protocol. Sterker nog: de meeste websites maken gebruik van het tragere HTTP(S). Jouw website kan dus in aanmerking komen voor deze verbindingsupgrade als:
- De webserver HTTP/2 ondersteunt
- Googlebot de website al regelmatig indexeert
Als eigenaar van een website hoef je niets te doen om je voor te bereiden op deze verandering.
Crawlen via HTTP/2 is niet verplicht
Communiceert jouw website nog via HTTP/1.1? Ook dan hoef je niets te doen. Google geeft aan dat er voor website-eigenaren geen nadeel is wanneer je website via HTTP gecrawld wordt. De website zal net zo vaak geïndexeerd worden als tot nu toe het geval was.
Sterker nog: hoewel er tijdens de testfase geen enkele negatieve gevolgen zijn aangetoond met het crawlen over HTTP/2, biedt Google sites een manier om zich af te melden voor deze manier van crawlen als ze dat willen.
Wil je jouw website niet via HTTP/2 laten crawlen, dan hoef je jouw server alleen maar te laten reageren met een ‘421 HTTP-statuscode’ wanneer Googlebot probeert je site over HTTP2 te crawlen.
Veelgestelde vragen over Googlebot en HTTP2
Waarom wordt Googlebot nu geüpgraded?
De software die Googlebot in staat stelt om over HTTP/2 te indexeren is eindelijk volwassen genoeg om te kunnen worden gebruikt in de productie.
Moeten site-eigenaren hun servers upgraden om zich voor te bereiden op deze verandering?
Deze beslissing laat Google aan de individuele site-eigenaar over. Googlebot zal alleen sites via HTTP/2 crawlen die “het ondersteunen en er duidelijk baat bij hebben”. Dat betekent dus ook dat, als er geen duidelijk voordeel is om over HTTP/2 te crawlen, Googlebot over HTTP zal blijven crawlen.
Hoe weet ik of mijn site HTTP/2 ondersteunt?
Je kunt op deze website checken of jouw server HTTP/2 ondersteunt.
Hoe kan ik mijn site upgraden naar HTTP/2?
Google adviseert om dit met je serverbeheerder of hostingprovider te bespreken.
Hoe kan ik Googlebot dwingen om over HTTP/2 te crawlen?
Google geeft aan dat dit niet mogelijk is. Een site zal over HTTP/2 worden gecrawld als de server dit ondersteunt, en zowel de site als Googlebot zullen hiervan profiteren. Als crawlen over HTTP/2 bijvoorbeeld niet zou leiden tot merkbare besparingen op resources, dan zal Googlebot de site blijven crawlen over HTTP/1.1.
Wat zijn de voordelen van crawling over HTTP/2?
Het belangrijkste voordeel voor zowel de server als Googlebot is de besparing van resources. Crawlen over HTTP/2 heeft geen invloed op de indexering van de site of frequentie waarmee deze gecrawld wordt.
Is er een rankingvoordeel voor een site die over HTTP/2 wordt gecrawld?
Nee, er is absoluut geen rankingvoordeel.
Heb je een vraag die in deze blogpost nog niet beantwoord wordt? Neem gerust contact met ons op, we helpen je graag!
