크롤링 은 웹 페이지를 방문하고 해당 페이지의 내용과 링크를 가져 오는 봇, 스크립트 또는 소프트웨어 프로그램의 프로세스를 설명하는 데 사용되는 용어입니다. 완료되면 프로그램은 목록의 다음 링크 또는 방금 방문한 웹 페이지에서 얻은 링크 중 하나를 방문합니다.

인터넷 용어, Metacrawler, 검색 엔진, Spider