웹 크롤링을 자바스크립트단에서 할수있는법 없나?

1/1

ㅆㅇㅆ 다중이 118.235 혼자 뭐하냐 작성자 : ㅇㅇ

웹 크롤링을 자바스크립트단에서 할수있는법 없나?앱에서 작성

프린이(106.101) 2024.11.06 22:16:07

조회 60 추천 0 댓글 2

cors우회하려고 시중에 나와잇는 프록시로 자바스크립트에서 크롤링하니까 되긴하는데 연속적으로 크롤링 시도하면 too Many request에러 뿜더라

근데나 스마트프록시 유료로 쓰는거 있는데 그거 랜덤프록시 주소로 웹에 request 요청보내면 fastapi서버에선 too many request에러 안나거든 파이썬에서.. 같은아이피가 계속접속하면 투매니 에러 나는거라 내 유료 랜덤프록시주소로 요청하면 아무래도 요청 할때마다 다른 프록시주소로 요청하게되는거니 파이썬서버에서는 저방법으로 투매니리퀘스트 에러가 안나는거겠지

근데이걸 난 클라이언트에서 크롤링 하고싶은거라 자바스크립트에서 웹페이지 request요청할때(fetch로) 똑같이 내 유료랜덤프록시 주소로 요청하는법 없을까?

서버에서 랜덤프록시로 웹 크롤링하는건 쉽고 방법도 다 알려져잇는데 자바스크립트(클라이언트)에서 랜덤프록시로 웹 크롤링 하는거 생각보다 뚫기어려운지 아무리검색해도 안나와ㅜ

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	기 세보여도 실제로는 멘탈 약할 것 같은 스타는?	운영자	24/11/04	-	-
이슈	[디시人터뷰] 라이징 스타로 인정받은 걸그룹, ‘리센느(RESCENE)’	운영자	24/11/08	-	-
2770970	내가 트럼프 머스크랑 사고방식이 동일함. 거기에 스티브잡스	딱국(118.235)	11.06	34	0
2770969	미국이 진짜 진짜 위기야 ㅇㅇ 근데 곧 미국도 단결하겠네	딱국(118.235)	11.06	37	0
2770968	트럼프 당선으로 상처받은 사람들을 치유해주고싶다	딱국(118.235)	11.06	25	0
2770967	밤에 성시경이 두명 있으면?	발명도둑잡기	11.06	33	0
2770966	아침 수업의 4단계	발명도둑잡기	11.06	22	1
2770965	아스카쟝 일본입니다 ㅇㅅㅇ [3]	아스카영원히사랑해	11.06	58	0
	웹 크롤링을 자바스크립트단에서 할수있는법 없나? [2]	프린이(106.101)	11.06	60	0
2770956	전산직 목표인데 [3]	프갤러(118.235)	11.06	71	0
2770954	리액트 책 추천해줭 [1]	프갤러(221.167)	11.06	41	0
2770953	경험상 msa중에 시타델 아키텍처는 효과적임 [1]	창업게이(106.101)	11.06	39	0
2770952	흠 비난과 조롱이 왜 이렇게 많지.. 잠 충분히 자는게 나쁜건가	ㅇㅇ(123.213)	11.06	27	0
2770951	좀 황당한데 [8]	포항의봄	11.06	79	0
2770950	ㅆㅂ몽고db 노드js연결 오류 해결좀요 [2]	프갤러(122.42)	11.06	48	0
2770949	Cs부서가 개발도 함? [2]	프갤러(61.83)	11.06	52	0
2770948	트래픽 100만은 나와야지 기업이지 [3]	조루디(118.235)	11.06	65	0
2770947	MySQL에 Javascript 기반 프로시저 나옴 [1]	초코냥	11.06	66	0
2770946	스타트업은 aws도 사치다 [1]	초코냥	11.06	71	1
2770945	개발욕구는 오픈소스에서 채움 [2]	창업게이(106.101)	11.06	66	1
2770944	js <<< 이새끼가 존나 사기긴함	프갤러(61.75)	11.06	59	0
2770943	Msa 너무 어렵다 [3]	조루디(118.235)	11.06	54	0
2770942	cto는 넓고 얕게 알아야한다 [1]	창업게이(106.101)	11.06	41	0
2770941	이X석 방미설	발명도둑잡기	11.06	24	0
2770940	HTML Elements에 물리엔진을 적용시켜보았당- [1]	프갤러(121.172)	11.06	62	1
2770939	나토 해체, 동아시아 나토 반대가 답이다	발명도둑잡기	11.06	22	0
2770937	망할 스타트업 특징 = 개발자 힘이 셈 [6]	창업게이(106.101)	11.06	121	0
2770935	양심수 증언 들어보니 감옥은 9월부터 내복을 나눠준다더라	발명도둑잡기	11.06	23	0
2770934	우크라이나 전쟁 24시간 안에 끝낸다던 트럼프‥과연?	발명도둑잡기	11.06	25	0
2770933	금투세가 ‘찐부자’ 감세? 증시 폭락?…윤석열·한동훈의 왜곡들	발명도둑잡기	11.06	15	0
2770932	아래 서브웨이 글 보니 생각나는 것	발명도둑잡기	11.06	22	0
2770931	백엔드는 C++ 로 안하고 자바 노드로 하는 이유가 뭐냐 [4]	프갤러(59.16)	11.06	115	0
2770930	요새 고구마가 자꾸 먹고싶은 이유	발명도둑잡기	11.06	27	0
2770929	앱은 뭐고 웹앱은 뭐냐 [3]	ㅇㅇ(210.178)	11.06	62	0
2770927	자전거타고 왕복 35분. 서브웨이 샌드위치 먹으러 가냐 마냐	ㅇㅇ(123.213)	11.06	25	0
2770926	무현이가 없으니 프갤이 쓸쓸해졌다 [1]	카드캡터체리	11.06	27	0
2770925	안드로이드 취업 시장 개망했네 [2]	프갤러(172.225)	11.06	113	0
2770924	나 귀엽게 생긴거아님?	ㅇㅇ(222.108)	11.06	44	0
2770923	갓동훈 [1]	♥인생무상냥덩♥	11.06	24	0
2770920	나님 혹시 갱년기?!?	♥인생무상냥덩♥	11.06	25	0
2770919	웹의 기술적 혁신 - Rx Syncronize!	프갤러(121.172)	11.06	45	1
2770916	1학년 컴맹인데 컴공 괜히 왔어 [6]	ㅇㅇ	11.06	126	0
2770914	국비충 4년차인데 구직 사이트 써본 적이 한 번도 없음	프갤러(211.234)	11.06	78	0
2770913	최원종씨는 지금쯤 뭐하고있나?	헬마스터	11.06	31	1
2770912	엄마 우울증인가 갱년기인가 뭔 오만 세상일에 다 슬프다하노 [3]	ㅇㅇ(223.62)	11.06	46	0
2770911	메모장 파일을 어떻게 visualstudiocode 에서 여나요 [5]	프갤러(59.11)	11.06	66	0
2770910	칼바람 이직시장 도전해본 후기 ㅇㅅㅇ... [6]	초코냥	11.06	142	0
2770909	러시아 우크라이나 전쟁은 애초에 무리수 아니었음? [5]	프갤러(121.172)	11.06	58	2
2770908	얼굴이 뜨겁당..	♥인생무상냥덩♥	11.06	26	0
2770907	트럼프 당선됐으면 우크라이나는 러시아에 항복하는가?	헬마스터	11.06	32	0
2770901	만 3년차에 연봉 4400이면 중간은 갓냐 [6]	프갤러(118.235)	11.06	115	0
2770896	docker compose 볼륨 마운트 잘 모르겠음 질문좀 [5]	ㅇㅇ(220.87)	11.06	43	0