Crawler

Schon einmal gewundert, was denn überhaupt ein Crawler ist? Unter anderem auch als “Spinne” bezeichnet, handelt es sich dabei um ein Computer-Programm, welches das Internet durchsucht und indexiert. Welche Arten von Crawlern gibt es? Wie funktionieren sie? Und was genau versteht man unter einem schädlichen Bot?