kudog-crawler

robots.txt에 근거하여 const/sites.ts의 사이트들을 돌며 (frontier.ts), 새로 올라온 공지사항들을 fetch (fetcher.ts), parsing (parser.ts) 하는 크롤러 Application