디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 101 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 뛰어난 운동 신경으로 남자와 싸워도 이길 것 같은 여자 스타는? 운영자 25/11/24 - -
AD 따뜻한 겨울나기! 방한용품 SALE 운영자 25/11/27 - -
2889961 Ai있으니까 어지간한 사이트 보안취약점은 다뚫리네 [2] 프갤러(223.38) 09.18 179 0
2889960 순수 ai 세대 개발자의 성장은 궁금하긴 함 [1] ㅇㅇ갤로그로 이동합니다. 09.18 149 0
2889958 나님이 디깅한거 올렸더니 자기들이 쳐써먹노 예의 밥말아 처먹은 씹새기들 [3] ♥냥덩이♥갤로그로 이동합니다. 09.18 196 0
2889956 ai 사람갈아서 만드는거 아님?? 뒷통수한방(1.213) 09.18 79 0
2889955 Ai 를 잘 다루는 개발자 라는게 [1] 겨겨(106.246) 09.18 138 0
2889954 어느집 화단에 거의 몇달을 피어있는 꽃이 있길래..ㅇㅅㅇ [2] 헤르 미온느갤로그로 이동합니다. 09.18 115 0
2889953 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 09.18 110 0
2889952 하루 한 번 헤르미온느 찬양 헤르 미온느갤로그로 이동합니다. 09.18 91 1
2889946 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.18 144 0
2889914 D-Day -1 오늘도 살아있어 마지막 생존자. 넥도리아(220.74) 09.18 82 0
2889912 케이팝 데몬 헌터스 사실은 불교 속 지옥의 공무원? 발명도둑잡기(118.216) 09.18 168 0
2889906 증강하면 원본이 헉습에서 빠지는 듯 ㅇㅇ(118.235) 09.18 107 0
2889905 요즘 영포티 퐁퐁남들이 편의점을 사랑하는 이유 발명도둑잡기(118.216) 09.18 214 0
2889903 映画『国宝』|主題歌「Luminance」原摩利彦 feat. 井口 理 발명도둑잡기(118.216) 09.18 117 0
2889902 [리드머 뷰] 아프로비트 VS 아프로비츠, Afrobeat VS Afro 발명도둑잡기(118.216) 09.18 80 0
2889901 "노 젓는 삼성, 제대로다"...케데헌 등장하는 갤럭시 광고 화제 발명도둑잡기(118.216) 09.18 233 0
2889895 갤 망함? 프갤러(1.233) 09.18 90 0
2889894 쇼미더머니 이번 출연자들 성비 대부분 남자겠지? 발명도둑잡기(118.216) 09.18 97 0
2889893 Taylor Swift(테일러 스위프트) - 'Cruel Summer' 발명도둑잡기(118.216) 09.18 80 0
2889892 선임이 본인 개발 실력에 대해 자부심이 대단하네 이시꾸갤로그로 이동합니다. 09.18 206 0
2889890 C언어는 반드시 해라 [3] 박민준갤로그로 이동합니다. 09.18 263 0
2889889 코딩 잘해야하는 이유 박민준갤로그로 이동합니다. 09.18 126 0
2889888 웹이 AI에 대체당한다고? 박민준갤로그로 이동합니다. 09.18 153 0
2889887 무작정 코드잡고 프로젝트 시작하지 마라 박민준갤로그로 이동합니다. 09.17 103 0
2889886 다들 잘자요 [3] 개멍청한유라갤로그로 이동합니다. 09.17 112 0
2889885 현대 자동차 엘란트라 아우토반 편 90년대 추억의 광고 발명도둑잡기(118.216) 09.17 101 0
2889884 오늘의 소설, 영화 실마리: 운명이 음악에 달렸다는 음악교 발명도둑잡기(118.216) 09.17 77 0
2889883 지금 짜슐랭 먹습니다. 복작복작 계란 휘저어서... 중불에... 넥도리아(220.74) 09.17 93 0
2889881 대기열 bypass 하려면 뭐 공부 해야하나요? [2] 프갤러(106.101) 09.17 135 0
2889880 오늘의 소설, 영화 실마리: 스타가 자동 싸인 기계를 샀다가 들킴 발명도둑잡기(118.216) 09.17 96 0
2889879 이 싸움을 끝내러 왔당 By 나님 [4] ♥냥덩이♥갤로그로 이동합니다. 09.17 154 0
2889878 영화 <트랩> 나왔대서 생각나는 예전글 발명도둑잡기(118.216) 09.17 129 0
2889877 내가 그린 고아 그림은 개멍청한유라갤로그로 이동합니다. 09.17 117 0
2889874 유튜브 쇼츠<<이게 사회악임. 절~~대로 보지마 ㄹㅇ [1] ㅇㅇ(223.39) 09.17 168 0
2889873 이직 포폴 프로젝트 아이디어 생각 중입니다 [3] 아스카영원히사랑해갤로그로 이동합니다. 09.17 231 0
2889872 밥굶지않고 살 수 있음에 감사합니다... 가난 이제 안밉습니다... [1] ㅇㅇ(223.39) 09.17 140 0
2889871 나님 누엇어양⭐+ [1] ♥냥덩이♥갤로그로 이동합니다. 09.17 247 0
2889870 네이버 차단한지역 로그인 프갤러(125.185) 09.17 169 0
2889869 개발SW들 깔다보면 백그라운드서 리소스 꽤 잡아먹지않나? ㅇㅇ갤로그로 이동합니다. 09.17 118 0
2889868 발도잡 개멍청한유라갤로그로 이동합니다. 09.17 96 0
2889867 요즘 10대들의 특이한 아이돌 소비 문화 발명도둑잡기(118.216) 09.17 145 0
2889866 한국인이 전세계 챗지피티 사용량 2위인 이유 발명도둑잡기(118.216) 09.17 85 0
2889865 '배트맨' 마이클 키튼, 故찰리 커크 총격 사망 “아이러니” 발언..보수 발명도둑잡기(118.216) 09.17 90 0
2889862 음저협 회장 업무추진비 월 2천만원?..황희 "문체부 감시 감독 고민" 발명도둑잡기(118.216) 09.17 138 0
2889861 "찰리 커크, 혐오로 가득"…아만다 사이프리드에 '악플 세례' 발명도둑잡기(118.216) 09.17 165 0
2889860 커크 죽음에 분열된 할리우드... "추모인가, 미화인가" 발명도둑잡기(118.216) 09.17 104 0
2889859 오늘 학생에게 Render로 홈페이지 띄우는거까지 해줌 [1] ㅆㅇㅆ(124.216) 09.17 129 0
2889858 콜드플레이 "찰리 커크 가족에 사랑을" 불 붙은 이념 전쟁 발명도둑잡기(118.216) 09.17 139 0
2889857 “3시간30분마다 노동자 한 명씩 숨져” 발명도둑잡기(118.216) 09.17 155 0
2889856 진서연, '총격 피살' 美 극우 논객 찰리 커크 추모 발명도둑잡기(118.216) 09.17 141 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

디시미디어

디시이슈

1/2