스파이더 는 웹 사이트의 색인을 생성하기 위해 체계적으로 월드 와이드 웹을 탐색하도록 작성된 프로그램 또는 스크립트입니다. 스파이더는 웹 봇, 웹 크롤러 또는 웹 로봇 이라고도합니다.

예를 들어, 스파이더는 웹 페이지에서 키워드를 수집하는 데 자주 사용되며 사용자가 인터넷 검색 엔진을 통해 해당 페이지를 찾을 수 있도록 정렬됩니다.

봇, 크롤링, 인터넷 이용 약관, 로봇, Robots.txt, 웹 페이지, 웹 사이트