SEO · robots.txt · AI crawlerit

robots.txt- ja AI-crawler-tarkistus

Tarkista, löytyykö domainilta robots.txt ja llms.txt, onko sitemap ilmoitettu ja miten yleiset hakukone- ja AI-crawlerit saavat lukea sivuston juuripolkua.

robots.txt ohjaa hakukone- ja crawler-käyttäytymistä. llms.txt voi antaa tekoälyjärjestelmille tiivistettyä tietoa sivustosta ja sen tärkeistä sisällöistä.

Syötä verkkotunnus, esimerkiksi nettools.fi.
Opas · robots.txt ja AI crawlerit

Mitä tämä työkalu tarkistaa?

Työkalu hakee domainin /robots.txt- ja /llms.txt-tiedostot. Lisäksi se tarkistaa, onko robots.txt-tiedostossa sitemap-rivejä ja miten eri crawlerit, kuten Googlebot, Bingbot, GPTBot, ChatGPT-User ja OAI-SearchBot, saavat käyttää sivuston juuripolkua.

robots.txt

robots.txt kertoo crawlereille, mitä polkuja ne saavat tai eivät saa hakea. Se ei ole pääsynhallinta, mutta se on tärkeä ohjaus hakukoneille.

AI crawlerit

GPTBot, ChatGPT-User, OAI-SearchBot ja muut AI-crawlerit voidaan sallia tai estää robots.txt-säännöillä.

llms.txt

llms.txt on sivuston juureen sijoitettava tekstitiedosto, jolla voidaan kuvata palvelun olennaiset sisällöt tekoälyjärjestelmille.

Sitemap

robots.txt voi sisältää sitemap-rivin, joka auttaa hakukoneita löytämään sivuston indeksoitavat URL-osoitteet.

Miten tulosta tulkitaan?

Jos robots.txt puuttuu, se ei yleensä tarkoita estoa. Se tarkoittaa, ettei erillisiä robots.txt-rajoituksia löydy. Jos taas tietylle crawlerille löytyyDisallow: /, kyseinen crawler on estetty sivuston juuresta.

llms.txt-tiedoston löytyminen ei ole pakollista, mutta se voi auttaa kuvaamaan sivuston tarkoitusta, päätyökaluja ja tärkeitä URL-osoitteita koneellisesti.

Yleiset puutteet

  • robots.txt puuttuu tai palauttaa virhekoodin.
  • Sitemap-rivi puuttuu robots.txt-tiedostosta.
  • Tärkeä crawler on estetty vahingossa.
  • llms.txt puuttuu, vaikka sivusto hyötyisi koneellisesti luettavasta yhteenvedosta.