robots.txt 작성 없이 수집 요청을 해보면

robots.txt가 제대로 잘 안되는 것 같다.
수정이 필요하다

라이트세일에서 워드프레스 root 경로로 가는 방법은

cd /home/bitnami/apps/wordpress/htdocs

이제 robots.txt 파일을 만들어보자

vi robots.txt

하면 파일 편집기가 실행되고,
i 키를 누르면 수정할 수 있다.

이렇게 입력하고
esc 누르고 ( esc 누르면 편집모드에서 빠져나옴 )
wq! ( write 하고 quit 한다는 뜻과 ! 이거는 강제로 나오게 함 )

cat robots.txt 로 확인하면 제대로 적힌 것을 볼 수 있다.

다시 네이버 가서 수집요청으로 제대로 잘 수집하는지 확인해보자

내가 작성한 대로 잘 수집하는 것을 확인할 수 있다.