web-crawler

python web crawler(Sogang System Programming Proj4) 웹페이지를 크롤링하는 프로그램입니다.

실행은 "python 20101703.py" 로 실행합니다.

방문한 url 들은 URL.txt에, 해당 페이지 텍스트들은 Output_000X.txt 파일에 저장됩니다.