Syfte

För att våra AI-lösningar ska fungera korrekt behöver vi kunna crawla ert innehåll på ett strukturerat och tillförlitligt sätt. Denna kravspecifikation beskriver de tekniska förutsättningar som behöver vara uppfyllda. 

De här kraven är i linje med Google/Bing/Open AI:s rekommendationer för att få en så bra och snabbt uppdaterad version av sin site som möjligt, även i deras tjänster.

------------------------------------------------------------------------------------------

Övergripande krav

• En sitemap som följer gällande teknisk standard och best practice
• Sitemapen ska tydligt ange och innehålla de sidor som ska crawlas av Kundo

Detaljerade krav

1. Sitemap

Ni behöver tillhandahålla en sitemap som innehåller samtliga sidor ni vill att Kundo ska crawla.

Sitemapen ska:

• Vara tillgänglig för vår crawler 
• Innehålla attributet <lastmod> för varje URL

2. Krav på lastmod

• Lastmod ska endast uppdateras när sidans innehåll har ändrats på ett meningsfullt sätt
• Massuppdateringar av lastmod utan innehållsförändringar ska undvikas

Viktigt: Om lastmod leder till fler än 10 000 siduppdateringar per månad tillkommer en extra avgift för att täcka våra ökade crawl-kostnader.

3. Crawling & åtkomst

• Vi crawlar den URL ni hänvisar oss till, inklusive eventuell redirect (även IP-baserad)
• Inget botskydd får blockera sitemapen eller webbplatsen
• Vår crawler måste tillåtas i eventuella brandväggar eller säkerhetslösningar
• Sidor som ska crawlas får inte ligga bakom lösenordsskydd

Viktigt: Vår crawler är baserad i USA.