Inhoud
- Definitie - Wat betekent Spider?
- Een inleiding tot Microsoft Azure en de Microsoft Cloud | In deze gids leert u waar cloud computing over gaat en hoe Microsoft Azure u kan helpen bij het migreren en runnen van uw bedrijf vanuit de cloud.
- Techopedia legt Spider uit
Definitie - Wat betekent Spider?
Op het internet is een spin een gespecialiseerde software die is ontworpen om systematisch op het World Wide Web te kruipen en te browsen, meestal om webpagina's te indexeren om ze als zoekresultaten te bieden voor zoekopdrachten van gebruikers. De beroemdste van dergelijke spiders is de Googlebot, de hoofdcrawler van Googles, die ervoor zorgt dat relevante resultaten worden geretourneerd voor zoekopdrachten.
Spinnen worden ook wel webcrawlers, zoekbots of gewoon bots genoemd.
Een inleiding tot Microsoft Azure en de Microsoft Cloud | In deze gids leert u waar cloud computing over gaat en hoe Microsoft Azure u kan helpen bij het migreren en runnen van uw bedrijf vanuit de cloud.
Techopedia legt Spider uit
Een spin is in wezen een programma dat wordt gebruikt om informatie van het World Wide Web te verzamelen. Het doorzoekt de pagina's van websites die informatie extraheren en indexeren voor later gebruik, meestal voor zoekresultaten van zoekmachines. De spin bezoekt websites en hun pagina's via de verschillende koppelingen van en naar de pagina's, dus een pagina zonder een enkele koppeling er naartoe zal moeilijk te indexeren zijn en kan erg laag gerangschikt staan op de pagina met zoekresultaten. En als er veel links zijn die naar een pagina verwijzen, zou dit betekenen dat de pagina populair is en hoger op de zoekresultaten verschijnt.
Stappen betrokken bij webcrawlen:
- De spin vindt een site en begint zijn pagina's te doorzoeken.
- De spin indexeert de woorden en inhoud van de site.
- De spin bezoekt de links op de site.
Spinnen of webcrawlers zijn slechts programma's en volgen daarom systematische regels die door de programmeurs zijn vastgesteld. Eigenaren van websites kunnen hier ook op ingaan door de spin te vertellen welke delen van de site moeten worden geïndexeerd en welke niet. Dit wordt gedaan door een "robots.txt" -bestand te maken met instructies voor de spin over welke delen moeten worden geïndexeerd en welke links moeten worden gevolgd en welke deze moeten negeren. De belangrijkste spiders die er zijn, zijn die van grote zoekmachines zoals Google, Bing en Yahoo, en die bedoeld zijn voor datamining en onderzoek, maar er zijn ook enkele kwaadaardige spiders geschreven om te vinden en te verzamelen voor de gebruiker om te verkopen aan advertenties bedrijven of om kwetsbaarheden in webbeveiliging te vinden.