디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

저거 8.46 아이피 저거 보니까 어려울건 없는듯

ㅆㅇㅆ(124.216) 2025.10.14 10:32:19
조회 109 추천 0 댓글 4

이거 전부 보니까 800만개 URL 수집하고, GLOBUS랑 데이터 다운하고 JSON 구조랑 해야하는데 데이터 구조만 알면 딱히 어려운건 없는듯?


보니까 파이썬 스크립트 사용법까지 제공됨


환경 설정(Globus 계정) 데이터셋 다운 파이썬 설정 -30분


스크립트 실행 하고, 데이터셋 7GB 전체 추출하면 경험상 2시간 정도?


코드북 제작 검토하면 얼추 3시간


이렇게 문서화까지 경하면 6~7시간 세트 정도?


디버깅 고려해서 공임 치면 8시간 걸릴듯. 숙련된 개발자 기준이면 3시간 미만도 가능할거고


방법론 자체는 news_extractor.py를 실행해서 csv 변환하는거 밖에 없음


문제는 데이터셋 다운인데, 원격으로 너한테 다운받게 한후에 일부 데이터 나한테 보내서 그 데이터 바탕으로 코드북 작성하면되서 어려울게 없음


원격 조작은 한 3시간 정도 하면될거고


근데 저걸 코드북이랑 CSV 테이블 문서화가 좀 걸리지


기본적으로 프로그래머 공임이 주니어 기준 25000인데, 나는 좀 싸게 18000정도로 받으니까


내 기준이면 단가 12만인데 나한테 맡기면 10만에 해줌 ㅇㅇ


추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 해외에서 겪는 불합리한 대우에 대응 잘 할 것 같은 스타는? 운영자 25/11/03 - -
AD 저녁 뭐먹지? 오늘의 메뉴 추천! 운영자 25/10/31 - -
2897211 뛰뛰조졋더이 글이 언읽힌당.. [2] ♥덩냥이♥갤로그로 이동합니다. 10.19 82 0
2897210 바이럴이라는게 상당히 중요한게 얼마전에 바이브 코딩 게임 [1] ㅆㅇㅆ(124.216) 10.19 135 0
2897209 [대한민국] 헌재 윤 국무회의 CCTV 고의적으로 증거 은닉 프갤러(121.172) 10.19 85 0
2897207 아 내 서비스를 빨리 완성해야되겠구나 [2] ㅆㅇㅆ(124.216) 10.19 116 0
2897206 프로그래머 너네는 행복한줄 알아. [2] 프갤러(59.16) 10.19 145 0
2897205 우리나라는 진짜 좌파가 없음 . 진짜 좌파는 이런거임 [30] ㅇㅇ(175.197) 10.19 206 1
2897204 [대한민국] 캄보디아 사건을 토대로 알아보는 좌파의 인식과 사회구조 [3] 프갤러(121.172) 10.19 86 0
2897203 삶이 의미 없다 동안구청 건설과 직원들은 11시 40분에 점심먹으러 가고 넥도리아(220.74) 10.19 78 0
2897202 어후 글이어지러 [2] CreeJee(유동근)갤로그로 이동합니다. 10.19 95 0
2897201 양산형 만들 시간에 다른 개발.자 개발자 자체가 적페아닌가 이재명도사장이 넥도리아(119.195) 10.19 75 0
2897200 님들은 게임 개발 왜함. 목적이 뭐임 돈 머니 아니면 코인 아니면 취업사 넥도리아(119.195) 10.19 81 0
2897199 어제 박가네 보는데 오사카는 오사카 짱짱맨이라며 ㅇㅇ(175.197) 10.19 95 0
2897198 문화에 힘을 왜 쓰냐 다 구란데 [8] 프갤러(211.210) 10.19 96 2
2897197 부산애들은 강남관심없음 [9] ㅇㅇ(175.197) 10.19 139 0
2897196 옛날 프갤사람 인터뷰 [1] 배구공(119.202) 10.19 98 0
2897195 내가 성대 대학원 석사 중퇴한 이유. 논문 냈는데 ㅇㅇ(140.248) 10.19 111 6
2897194 운전병 꿀빤다 긁는새끼들 이차로 운전시켜보고 싶음 [2] ㅇㅇ(59.26) 10.19 78 0
2897192 알람몬같은 어플만드는거 난이도가 어떤편인가요? 프갤러(115.21) 10.19 79 0
2897191 이정도 집안이면 어디가서 강남산다고 말해도 되냐 [5] 프갤러(116.126) 10.19 149 0
2897190 반지의제왕 중간계 인구수는 부산 수준 [2] 발명도둑잡기(118.216) 10.19 128 0
2897189 와 개씨발 개꿀 겟또!! [3] ♥덩냥이♥갤로그로 이동합니다. 10.19 115 0
2897188 흠.. ♥덩냥이♥갤로그로 이동합니다. 10.19 73 0
2897187 학점 신청의 추억..ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 10.19 72 0
2897186 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥덩냥이♥갤로그로 이동합니다. 10.19 71 0
2897185 아침 햇살.. ㅇㅅㅇ [2] 헤르 미온느갤로그로 이동합니다. 10.19 80 0
2897184 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 10.19 70 0
2897183 하루 한 번 헤르미온느 찬양 헤르 미온느갤로그로 이동합니다. 10.19 82 0
2897181 반복적 죄수의 딜레마 게임에서 최강의 전략은? 발명도둑잡기(118.216) 10.19 81 0
2897178 국가보안법은 이성과 윤리체계를 붕괴시킨다 발명도둑잡기(118.216) 10.19 79 0
2897172 학점 질문 [5] 프갤러(118.235) 10.19 120 0
2897171 성인 콜라텍 충남 최고의 춤꾼! 배구공(119.202) 10.19 90 0
2897167 [인터뷰] 나원준 “트럼프 강요 계속되면 협상 깨도 국민 박수 칠 것” 발명도둑잡기(118.216) 10.19 82 0
2897166 [이태경의 토지와 자유] 이재명 정부 보유세 강화에 시동거나 발명도둑잡기(118.216) 10.19 92 0
2897165 유네스코유산 <니벨룽의 노래>, <니벨룽의 반지> 발명도둑잡기(118.216) 10.19 72 0
2897161 홈페이지 링크 클릭했다가 stream.ts라는 파일이 자동 다운 되었는데 프갤러(180.80) 10.19 91 0
2897160 반지의 제왕 소설에 영향 준 작품 발명도둑잡기(118.216) 10.19 81 0
2897158 가슴이 작으면 유방암 덜 걸리나 발명도둑잡기(118.216) 10.19 89 0
2897156 미친 존재감 발명도둑잡기(118.216) 10.19 63 0
2897155 <반지의 제왕> 예고편 발명도둑잡기(118.216) 10.19 71 0
2897154 진짜 학계는 존나 피곤한 곳이구나 한다. [4] ㅆㅇㅆ(124.216) 10.19 160 0
2897151 웹툰 원작 넷플릭스 시리즈 '닭강정', 국제에미상 후보에 올라 발명도둑잡기(118.216) 10.19 70 0
2897149 알콜중독이다 시이발... 오늘은 내 안먹을라 켔는데 ㅇㅇ(223.39) 10.19 75 0
2897148 열이 내렸다 발명도둑잡기(118.216) 10.19 72 0
2897147 근데 MDPI가 그렇게 학계에서 평이 안좋나 [2] ㅆㅇㅆ(124.216) 10.19 117 0
2897146 중국 애들 코드가 좋은게 중국애들은 [1] ㅆㅇㅆ(124.216) 10.19 121 0
2897145 교수 구워 삶았다. 이제는 진짜 구현만 하면된다 ㅋㅋㅋ [1] ㅆㅇㅆ(124.216) 10.19 96 0
2897144 LG G5 부팅 시켰거든요... 넥도리아20252024026(220.74) 10.19 75 0
2897143 나는 김치에 곰팡이 펴서 버렸는데 아래는 김치도 있구나 ㅇㅇ(175.197) 10.19 80 0
2897133 물경력이 얼마나 많으면 회사에서 믿지를 않아. [1] 프갤러(59.16) 10.19 131 0
2897131 인천행 중국 여객기, 수하물 보조배터리 불로 상하이 비상착륙 발명도둑잡기(118.216) 10.18 72 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

디시미디어

디시이슈

1/2