혹시 Spring Batch + Staging Table 사용해본사람??

프갤러(59.15) 2025.05.06 15:14:39

조회 59 추천 0 댓글 1

현재 Spring Batch에 병렬 로컬 파티셔닝 방식으로 17개 CSV 파일 읽고, DB 테이블까지 넣는 과정에서 동시성 이슈가 생겨서 데이터 누수가 발생하더라구.

그래서 Staging Table 사용해서 동시성 제어를 하고 있는데, CSV -> Staging 임시 테이블(병렬), 임시 테이블 -> 기존 DB로 옮기는 과정에서 단일 처리를 하니깐 시간이 엄청 오래걸림..

그래서 내 생각은, StagingTable로 데이터 받은다음에, 바로 COPY를 해서 일괄 적재 하는 방식으로 하려고 하느데, 이거는 스테이징 테이블에 대한 장점이 사라지지않나 싶어서,,

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

프갤러는 갤러리에서 권장하는 비회원 전용
갤닉네임입니다. (삭제 시 닉네임 등록 가능)

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	내 부모였으면 좋겠는 스타 부부는?	운영자	25/06/02	-	-
2857484	김문수 후보가 인생 진짜 잘 산 사람인듯	♥냥덩의태양은밤에도빛난당♥	05.23	91	0
2857483	코딩이 ㅈ으로 보이노?	프갤러(221.165)	05.23	82	1
2857481	앱은 백엔드 따로 안만듬? [3]	뉴진파	05.23	113	0
2857480	이거 링크 분석 해보거라 [2]	ㅇㅇ(27.237)	05.23	77	0
2857478	이준석씨가 국회해산권 주장하더라 [6]	헬마스터	05.23	105	0
2857477	나님의 꿈은 모험가임!!	♥냥덩의태양은밤에도빛난당♥	05.23	50	0
2857476	Run for the future ㅇㅅㅇ [4]	익명의따당이	05.23	74	0
2857475	근데 유현이 신기하게 요즘 일도 없는데 어떻게 그렇게 찾아가냐 [4]	ㅆㅇㅆ(124.216)	05.23	82	0
2857474	넘 피곤해서 일찍 자야겠당	♥냥덩의태양은밤에도빛난당♥	05.23	42	0
2857473	걍 하던거나 마저혀야겄다 좀 크게 해보고 싶어서 찾아봤는데 데이터셋을 [5]	ㅆㅇㅆ(124.216)	05.23	62	0
2857472	이 정도면 물리개발자 쌉가능이냐 ㅇㅅㅇ? [8]	강유현	05.23	123	0
2857471	오늘자 ㅈ소 프붕이 ㅇ ㅅㅇ [2]	프갤러(60.196)	05.23	75	0
2857470	마라톤은 역시 쉬는날에 해야행	♥냥덩의태양은밤에도빛난당♥	05.23	39	0
2857469	사수에게 칭찬받으려고 이쁘게 짜서 ai에게 첨삭받아봤음 [3]	프갤러(211.210)	05.23	103	0
2857468	이상하게 생김? [1]	ㅇㅇ	05.23	99	0
2857466	근데 프로그래밍 알면알수록 많은분야 나와서 재밌네 [4]	ㅆㅇㅆ찡	05.23	79	0
2857465	연봉 33프로 올려 이직했다 [7]	ㄴㄷㄱㅅ(223.38)	05.23	137	0
2857464	개발자보다는 소프트웨어 엔지니어가 낫지 않냐? [2]	ㅇㅇ(211.234)	05.23	92	0
2857463	어디에 가면 한국 영수증 양식들을 다 구할 수 있을까	ㅆㅇㅆ(124.216)	05.23	40	0
2857462	난 개발자라는 이름 부끄러워	피치피(183.101)	05.23	59	0
2857459	이재명 아들 불법 취업 발칵	♥냥덩의태양은밤에도빛난당♥	05.23	288	0
2857458	씨발 세수 면도 샤워하고 싶어	아스카영원히사랑해	05.23	51	0
2857457	아 개피곤하넹	♥냥덩의태양은밤에도빛난당♥	05.23	39	0
2857456	배달앱 미쳣네	ㅇㅇ	05.23	70	0
2857455	근데 나만 편할라고 개발자 하냐 [2]	ㅆㅇㅆ(124.216)	05.23	73	0
2857454	세이노라는 사람 아냐?? 책이 극단적이긴 한데 맞는말 같긴 하네 [3]	ㅇㅇ(223.38)	05.23	68	0
2857453	유튜브 썸내일에서 이준석 욕하는거 아는 사람.	도리스아(175.196)	05.23	54	0
2857452	좆소같은 곳만해도 처리하는 영수증 종류가 30종이 넘더라.	ㅆㅇㅆ(124.216)	05.23	63	0
2857451	램 왤케 딸리는거 같지 [2]	프갤러(121.128)	05.23	61	0
2857450	오늘 BBQ 시킨다	ㅇㅇ	05.23	42	0
2857449	진짜 영수증 양식들 한 1000개만 모으면 충분히 자동화 [10]	ㅆㅇㅆ(124.216)	05.23	102	0
2857448	일단 필드 태그를, 공급자명,공급가액,부가세 [2]	ㅆㅇㅆ(124.216)	05.23	56	0
2857446	개발자 난 성향 다떠나서 이거라본다 [3]	프갤러(106.101)	05.23	115	0
2857445	경리 업무를 파이프라인으로 자동화하면 팔 수 있나?	ㅆㅇㅆ(124.216)	05.23	46	0
2857444	노가다 끗 ㅇㅅㅇ [10]	강유현	05.23	101	0
2857443	일단 취업을 하게 되면 [2]	아스카영원히사랑해	05.23	132	2
2857442	ring3에서 감지하는거 우회함 [3]	류도그담당(114.202)	05.23	103	0
2857441	Easy ocr이 존나 편하더라 [5]	ㅆㅇㅆ찡	05.23	102	0
2857440	아니 갑자기 오늘 납품 받기로 한거 사정때문에 월요일로 해달라네 [2]	ㅆㅇㅆ(124.216)	05.23	73	0
2857439	매러똔 후유증이 심하궁..	♥냥덩의태양은밤에도빛난당♥	05.23	39	0
2857438	오랜만에 데탑켰는데 [3]	류도그담당(114.202)	05.23	71	0
2857437	나보다 면접 연락 안오는 사람 있냐? [4]	프갤러(59.16)	05.23	92	0
2857436	인생에 재미있는거 없냐?? 담배피는걸 잊을만큼??	ㅇㅇ(223.38)	05.23	56	0
2857435	아이디어 계속 생기네 [3]	RyuDOG	05.23	74	0
2857434	신입. 이젠 일 시작하고 싶은데 쉽지않네... [3]	프갤러(211.194)	05.23	367	1
2857433	졸작 조지면 졸업 못하냐?	ㅇㅇ(175.223)	05.23	41	0
2857432	세상이 무너졌을때에도 지켜져야할 삶의 가치가 뭐냐?? [1]	ㅇㅇ(223.38)	05.23	55	0
2857431	흐름 좋넹	♥냥덩의태양은밤에도빛난당♥	05.23	51	0
2857428	막코더 일본 몇년차임? [3]	아스카영원히사랑해	05.23	68	0
2857427	2년전에 난 연구실 플밍만 할 수 있었지 [1]	ㅆㅇㅆ찡	05.23	86	0
뉴스	제23회 원주 장미축제 개막...초여름 장미로 물드는 도심	디시트렌드	06.03