https://github.com/qaws1122/qwe1122

실행파일이 의심스러우면 직접 컴파일하셈 코드랑 같이 첨부해둠

언어 : 파이썬

라이브러리 : pip install beautifulsoup4 lxml aiohttp aiofiles colorama Pillow psutil

라이브러리는 터미널에 복붙하면 알아서 다운함

사용법

1. 프로그램 실행 후 "베이스 URL을 입력해주세요 :" 로그 나온 후

2. 프로그램 돌릴 갤러리 메인주소 URL 복사 복붙

(예 : https://m.dcinside.com/board/baseball_new11)

기능

1. 새 게시물 자동으로 찾아서 이미지 있을 시 다운로드

2. 이미 처리한 URL및 이미지 해시값 저장해서 중복다운 차단

3. 프로그램 동작중 발생한 모든 로그 기록 (딱히 사용시 쓸 일 없음)

4. 다운로드된 이미지 출처 기록

(https://... | {제목} {이미지 이름})

다운로드된 맨 처음 게시물만 기록, 중복은 건너뜀으로 기록 X

주의사항및 단점

1. 본론만 말하자면 VPN 필수임 이유는

처음 프로그램을 실행하면 첫 게시물을 전부 검사하는데 이 때

요청이 너무 많이 들어가서 일시적 ip차단됨 (몇 분 지나면 풀림)

(게시물을 찾을 수 없습니다. 이런 로그가 계속 반복 이때 ip변경)

단. (새 게시물이 없습니다.

      메모리 사용량...) 이런 로그는 정상 작동중

2. 프로그램을 실행하면 똥짤 야짤 혐짤 할카스 가릴것 없이

전부 다운로드함 이미지 중복을 최대한 차단했지만

조금이라도 이미지가 변경되면 (이미지를 자른다던가 스크린샷 등등)

해시값도 변경되니 중복? 이미지가 어쩔 수 없이 다운됨

본인이 직접 삭제해야함 삭제해두면 그 삭제한 사진은 다시 다운X

3. 한 게시물에 이미지가 너무 많으면 타임아웃 에러 뱉어냄

jpg, jpeg는 어느정도 커버 가능한데 (대략 2~30장)

gif는 용량이 커서 거의 에러남 (5~10장 까진 커버 된거로 기억)

에러가 출력되도 그 게시물만 건너뛰고 다음 작업 수행하도록 해둠

끝.