디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 105 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 이제는 의미 없어진 것 같은 시상식은? 운영자 25/12/01 - -
AD 따뜻한 겨울나기! 방한용품 SALE 운영자 25/11/27 - -
2889562 드라이버 공부 재밌네 [2] 루도그담당(118.235) 09.16 110 0
2889561 큰 프로젝트가 와야하는데, 큰 프로젝트는 대부분 웹임 [4] ㅆㅇㅆ(124.216) 09.16 122 0
2889560 이번달 22일부터는 내 프로젝트 해야하는데 [4] ㅆㅇㅆ(124.216) 09.16 106 0
2889559 배달 재밌을거같지않음? [2] 루도그담당(211.184) 09.16 142 0
2889557 2틀에 25만이면 딸배보다 못한거 아님? [3] 프갤러(121.139) 09.16 131 1
2889556 이번 의뢰는 hwp를 epub양식에 맞게 xhtml변환하는거 [4] ㅆㅇㅆ찡갤로그로 이동합니다. 09.16 128 0
2889555 쎾~~~~~~~~~~~~~~~~~~~~~~ 프갤러(121.139) 09.16 97 0
2889554 25만짜리 하나 끝냈딘 [5] ㅆㅇㅆ찡갤로그로 이동합니다. 09.16 149 0
2889553 SK쉴더스 화이트해커 전문인력 양성과정 (~10/9) 프갤러(14.32) 09.16 110 0
2889552 국경없는기자회 팔레스타인 시위에 한겨레는 없는 이유는? [2] 발명도둑잡기(118.216) 09.16 124 0
2889551 오늘 4시간 자서 피곤하다 발명도둑잡기(118.216) 09.16 69 0
2889549 이 븅신들 또 지랄이네 ㅋ [1] ㅇㅇ갤로그로 이동합니다. 09.16 95 0
2889544 하필 태어나도 남쩍에서 태어나누 뒷통수한방(1.213) 09.16 62 0
2889541 일하면서 볼만한 영화나 드라마 추천좀! [5] ux8라(106.101) 09.16 107 0
2889540 화장실 표지 낙서.. ㅇㅅㅇ [2] 헤르 미온느갤로그로 이동합니다. 09.16 93 0
2889538 하이닉스 씨발 40% 수익중 [1] hrin(220.120) 09.16 104 0
2889537 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 09.16 77 0
2889536 하루 한 번 헤르미온느 찬양 [3] 헤르 미온느갤로그로 이동합니다. 09.16 99 0
2889533 너네도 대단하다 [4] 루도그담당(211.184) 09.16 133 0
2889532 ㅋㅋ 아청물이나 올리는새끼는 지능도 딸려서 [1] 프갤러(121.139) 09.16 110 0
2889527 사람들한테 팩트를 알려주는 재미가 있네 ㅎㅎ [2] 프갤러(121.139) 09.16 101 2
2889526 음악 씨디가 리눅스 발명도둑잡기(118.216) 09.16 77 0
2889522 아침형 개발자 특) [2] Naro갤로그로 이동합니다. 09.16 112 0
2889521 ❤✨☀⭐⚡☘⛩나로님 시작합니당⛩☘⚡⭐☀✨❤ Naro갤로그로 이동합니다. 09.16 56 0
2889451 인생을 바꾸는 법 [4] 프갤러(118.235) 09.16 212 1
2889439 똥글 ㅇㅇ(211.59) 09.16 95 0
2889423 혼란하다 혼란해 개멍청한유라갤로그로 이동합니다. 09.16 134 0
2889417 오피란 무엇인가?? ㅋㅋㅋㅋㅋㅋ ㅇㅇ(221.146) 09.16 198 0
2889416 음기 충전 발명도둑잡기(118.216) 09.16 134 0
2889409 디시에서 고소드립하는 좆장애년 어서오고 ㅋㅋ [1] 프갤러(106.101) 09.15 172 0
2889407 솔라나 폰 언제오지 ㅇㅅㅇ [1] 꼬치의달인갤로그로 이동합니다. 09.15 170 0
2889346 첨으로 한 주에 면접 2개 잡힘 [1] 무관갤로그로 이동합니다. 09.15 172 0
2889345 공유기 밑에 나중에 나스 놀거 생각해서 이렇게 놓았는데... 넥도리아(220.74) 09.15 194 0
2889342 보통 통신사 공유기 어디다 놓아요? 넥도리아(220.74) 09.15 167 0
2889341 랜선 내방망 구축중입니다. [4] 넥도리아(119.195) 09.15 191 0
2889340 저녁 [1] 발명도둑잡기(118.216) 09.15 89 0
2889329 개쩌는 게임 아이디어가 떠올랐는데 과연 내가 할 수 있을까 프갤러(218.154) 09.15 113 0
2889327 발톱이거 깨진거 n개월 째인데 [1] 루도그담당(211.184) 09.15 119 0
2889321 우울증 << 이거 뭐하면 오는거임? [3] 루도그담당(211.184) 09.15 174 0
2889320 발톱 깨졌는데 이거 병원가서 [10] 루도그담당(211.184) 09.15 136 0
2889319 루비만 까면 나타나는 의문의 다중 유동이들ㅋㅋㅋ [4] ㅆㅇㅆ(124.216) 09.15 145 0
2889318 그 보석 나이 50먹고 러스트보다 에이다가 낫다고 물고빨았던거냐 [1] 프갤러(218.154) 09.15 115 0
2889317 리액트 개발모드에서 mount unmount mount 한대 [7] 헬마스터갤로그로 이동합니다. 09.15 129 0
2889316 고릴란가 원숭인가 영장류중에 [3] 주아갤로그로 이동합니다. 09.15 104 0
2889315 jdw64친추해도되나 프갤러(223.38) 09.15 86 0
2889314 c언어에서 int foo();하면 가변인자받는거임? [4] 프갤러(223.38) 09.15 145 0
2889312 stdin stdout stderr 대체머임? [9] 프갤러(223.38) 09.15 139 0
2889311 프갤도 완장이 있어야 함 [3] 루도그담당(211.184) 09.15 132 0
2889304 왜 하필 남쪽에서 태어났을까 그많은 나라중에 타이밍뒷.통수한방(1.213) 09.15 73 0
2889301 c언어 질문좀 [11] 7월갤로그로 이동합니다. 09.15 135 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

디시미디어

디시이슈

1/2