디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 104 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 뛰어난 운동 신경으로 남자와 싸워도 이길 것 같은 여자 스타는? 운영자 25/11/24 - -
AD 따뜻한 겨울나기! 방한용품 SALE 운영자 25/11/27 - -
공지 프로그래밍 갤러리 이용 안내 [97] 운영자 20.09.28 48798 65
2905741 'ㅎㅂ' 윤 공주 실시간 라방중ㄱㄱ 프갤러(112.172) 23:01 1 0
2905740 파이썬 어케 실행하냐고 묻는 개발자 어케 생각함? [2] 프갤러(218.153) 22:57 19 0
2905739 IT 인력을 좀 줄일 필요는 있는 듯 ㅇㅇ(114.30) 22:48 18 0
2905738 IT 배우려면 인도 기업 가라는 이유 [2] 프갤러(124.54) 22:48 21 0
2905736 12.3 계엄 그날의 시계는 돌아온다. [그날의 의미] [누군가의 길에서 넥도리아(220.74) 22:43 8 0
2905735 혹시 이제 코딩 c언어 몰라도 할수있는 정도임? [1] 흑인갤로그로 이동합니다. 22:40 27 0
2905734 큰 결심을 하려 한다. 넥도리아(220.74) 22:38 12 0
2905724 디시 클리너 돌리기 어려움?? [11] ㅇㅇ(175.214) 22:10 33 0
2905720 인생에서 용기가 중요한 이유 발명도둑잡기(118.216) 21:57 16 0
2905719 님들 혹시 다이어그램 같은 거 직접그림? [2] ㅇㅇ(115.140) 21:56 29 0
2905710 한달에 100km 정도 뛰는듯? [1] ♥멘헤라냥덩♥갤로그로 이동합니다. 21:33 21 0
2905709 2000년대 머리스탈이 지금보다 낳지않냐? [4] 헬마스터갤로그로 이동합니다. 21:19 45 0
2905708 나님 슬슬 졸린.. [1] ♥멘헤라냥덩♥갤로그로 이동합니다. 21:18 23 0
2905706 저스디스 신곡 유튜브에 의해 검열 삭제에 반대합니다 발명도둑잡기(118.216) 21:16 14 0
2905701 자유와 앙가주망의 차이와 공통점 발명도둑잡기(118.216) 21:01 15 0
2905698 프갤 뛰뛰크루 냥덩런 명단과 일정 짜봄(초보자용) [4] ♥멘헤라냥덩♥갤로그로 이동합니다. 20:52 36 0
2905696 [애니뉴스] 소설 공모전 ㅇㅇ(121.172) 20:32 13 0
2905694 나님 프갤 뛰뛰크루 만들깡? [3] ♥멘헤라냥덩♥갤로그로 이동합니다. 20:29 41 0
2905692 확실히 뛰뛰하면 맘마 소화가 잘됨 [4] ♥멘헤라냥덩♥갤로그로 이동합니다. 20:27 38 0
2905690 울산 바다 ‘세계 최대·최초’ 해저 기지 발명도둑잡기(118.216) 20:25 13 0
2905687 나님 이제 슬슬 소화되는듯? [4] ♥멘헤라냥덩♥갤로그로 이동합니다. 20:16 33 0
2905686 요즘 뜨는 문이과 통합 통섭 학문!D 프갤러(121.142) 20:14 16 1
2905685 렌고쿠 똥구멍봤다 [7] 개멍청한유라갤로그로 이동합니다. 20:12 60 0
2905684 러스트 sql 인젝션 실제 사례, 겁나 많네 [2] 나르시갤로그로 이동합니다. 20:10 29 0
2905683 러스트 sql 인젝션 실제 사례 나르시갤로그로 이동합니다. 20:07 26 1
2905682 오늘의 발명 실마리: 가명으로 구입해서 실제 주소지로 배송받는 방법 [1] 발명도둑잡기(118.216) 20:06 16 0
2905681 쿠팡 정보유출 이번이 4번째…모두 내부 사고, 과징금 16억뿐 발명도둑잡기(118.216) 19:58 15 0
2905679 취업이 목표면 대학교보다 폴리텍, 직업훈련소.. [10] 나르시갤로그로 이동합니다. 19:55 54 0
2905678 학력높아야하는 이유 ㅇㅇ [5] 프갤러(211.234) 19:55 50 0
2905676 수학과가 범용성 최고 [4] ♥멘헤라냥덩♥갤로그로 이동합니다. 19:51 49 0
2905675 “당분간 쿠팡 주문 못하겠다”…현관 비번 털리고, 피싱 전화 늘어나 불안 발명도둑잡기(118.216) 19:47 19 0
2905674 현대판 중일 전쟁 정말 나나요? 넥도리나(220.74) 19:47 14 0
2905673 코딩하는거니 유튜버 아는 사람 [1] 프갤러(14.39) 19:43 28 0
2905672 친구놈이 자기 코딩할줄안다고 자랑하는데 [8] 프갤러(121.150) 19:41 54 0
2905671 자바개발자랑 c#개발자 구분하는법 [2] 프갤러(211.234) 19:40 36 0
2905670 대장동 설계자 이재명 [2] ♥멘헤라냥덩♥갤로그로 이동합니다. 19:38 30 1
2905668 이랜드패션 물류센터 화재 '전기적요인' 무게…합동감식 종료 발명도둑잡기(118.216) 19:29 12 0
2905667 학력높으면 좋은점 있음 ㅇㅇ(121.139) 19:29 24 0
2905665 재미나이 프로 대학생무료1년 이거 언제다시해주냐 ㅇㅇ갤로그로 이동합니다. 19:26 15 0
2905664 홍콩 아파트 화재, 77년만 최악 참사…"진화작업 종료" 발명도둑잡기(118.216) 19:26 10 0
2905662 간첩들이 나라 망치는 중 [2] ♥멘헤라냥덩♥갤로그로 이동합니다. 19:21 31 0
2905659 한동훈 책 샀음. [2] 넥도리아(220.74) 19:08 52 0
2905657 이번에 컴공 가는 고3인데 미리 공부해야할거 있음? [7] ㅇㅇ갤로그로 이동합니다. 18:58 59 0
2905655 음악 표절검사 서비스 '미피아(MIPPIA)' 발명도둑잡기(118.216) 18:36 15 0
2905651 밥먹는중인데 chironpractor갤로그로 이동합니다. 18:29 22 0
2905650 정치관련글의 문제점 [4] 프갤러(114.205) 18:13 40 0
2905648 이젠 신혼부부 ‘혼수 목록’서도 빠졌다…‘이것’의 미래는 어디로 발명도둑잡기(118.216) 18:12 14 0
2905647 나님 단어 창조조화력 ㄱㅆㅅㅌㅊ☀+ ♥멘헤라냥덩♥갤로그로 이동합니다. 18:08 22 0
2905645 내가 딱 멍청하다고 느끼는 애들 중 하나 [8] 루도그담당(58.233) 18:03 89 3
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

디시미디어

디시이슈

1/2