ai chatbot 프로젝트 진행해본 사람?

1/1

전쟁 무서워서 만들었다. 만들고 싶은거 만드는거. 그게 우리 개발자지! https://gkuer.com 작성자 : 프갤러

ai chatbot 프로젝트 진행해본 사람?

프갤러(221.164) 2024.09.19 17:39:10

조회 51 추천 0 댓글 0

이거 프로젝트 해보려고 내용조사하는 중인데 좀 궁금한게 있음

예를들어 어떤 웹에서 ai chatbot을 사용한다고 가정할 때 해당 웹이나 앱에 관련된 내용에 대한 질의응답을 할거잖아?

그래서 보통 해당 웹을 크롤링하고 임베딩해서 db에 저장하고 어떤 질문들이 들어왔을 때 해당 질문과 임베딩 db에 저장된 데이터이 유사도를 비교해서 그거 프롬프트에 집어넣어서 LLM 모델 사용해서 문장 자연스럽게 만들어서 답변한다고 들었는데

여기서 질문, 일반적으로 크롤링한 원본 데이터도 db에 저장함? 아니면 크롤링한거 전처리하고 청크? 청킹? 이것저것하고나서 임베딩한거만 db에 저장함?

그냥 생각했을때는 임베딩한거만 db에 저장하는게 합리적일것 같은데 일반적으로 어떻게 하는지 모르겠네

파인튜닝도 한다고 생각해보면 무조건 크롤링한 원본 데이터도 따로 db에 저장해야겠지?

생각해보면 유지보수나 관리측면에서 개발자 말고 클라이언트가 사용하기 편할려면 크롤링 데이터도 저장하는게 맞을것 같긴한데...

혹시 해당 프로젝트 진행해본 사람들은 어떤식으로 했음?

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
이슈	[디시人터뷰] 라이징 스타로 인정받은 걸그룹, ‘리센느(RESCENE)’	운영자	24/11/08	-	-
설문	축의금 적게 내면 눈치 줄 것 같은 스타는?	운영자	24/11/11	-	-
2771532	오늘의 발명 실마리: 뻥튀기나 사탕 왕관, 모자, 목걸이, 귀고리	발명도둑잡기	11.09	50	0
2771531	요즘도 진짜,가짜 개발자 떡밥 굴러 다니네 한심하다	프갤러(125.249)	11.09	64	0
2771530	스프링 개발할때 인텔리제이 vs Vscode 뭐씀? [3]	ㅇㅇ(112.161)	11.09	68	0
2771529	앰네스티가 운동판에 들어오기 전에는 몰랐는데	발명도둑잡기	11.09	30	0
2771527	컴공은 수학 머머배움 [5]	푸루린	11.08	102	0
2771526	고구마 너무 먹고싶네	발명도둑잡기	11.08	23	0
2771525	페이커 싸인 필요한 프붕이 있냐? [2]	카드캡터체리	11.08	67	0
2771524	사기꾼 새끼가 내 중고책 400만원어치 산다고 약속하고 [2]	발명도둑잡기	11.08	56	0
2771523	다리	발명도둑잡기	11.08	36	0
2771522	엘리베이터 탔는데 추락했다는 동지	발명도둑잡기	11.08	29	0
2771521	섹스는 힘들당 [1]	♥함께일때우린아무것도두려울것이없냥덩♥	11.08	98	0
2771520	인공지능은 뇌비게이숀이다	발명도둑잡기	11.08	33	1
2771519	인공지능 인도영화	발명도둑잡기	11.08	22	0
2771517	주식 특징 : 돈 없을때는 막 200%씩 오름. [3]	재현	11.08	55	0
2771516	로아 개인정보 get 사태 [1]	프갤러(175.115)	11.08	59	0
2771515	서민정 지하철 알바설	발명도둑잡기	11.08	42	0
2771514	테스트코드하니까 또 짜증나는게 생각나는데 [2]	프갤러(118.218)	11.08	58	0
2771513	지듣노	발명도둑잡기	11.08	19	0
2771512	술 마시느라 저녁 못 먹었는데	발명도둑잡기	11.08	24	0
2771511	하나뿐인 고등학교 친구 군대간다고 132000 썼어 ㅇㅅㅇ;: [1]	ㅇㅇ(223.62)	11.08	46	0
2771509	유사 난수도 예측 불가능함 [3]	재현	11.08	40	0
2771508	지하철 앉아 가는데 20~30대 남자가 내 앞에 서서	발명도둑잡기	11.08	35	0
2771506	내가 일기에 노인을 와인이라고 비유하면 좋다고 썼었는데	발명도둑잡기	11.08	31	0
2771505	가끔 그런 상상하는데 프로그래머를 qa로 뽑고 테스트 코드만 짜는거임	프갤러(118.218)	11.08	48	0
2771504	네트워크 엔지니어 있냐 네트워크는 어느 갤로 가야함 [1]	프갤러(153.246)	11.08	54	0
2771503	qa가 코딩도 하나요 [2]	발명도둑잡기	11.08	40	0
2771502	와인 마시고 지하철 탔는데 맞은편 모르는 여자도 술취해서	발명도둑잡기	11.08	29	0
2771501	플라스틱 와인잔	발명도둑잡기	11.08	23	0
2771500	c샵의 생산성과 c의 속도를 달성한 언어는 이미 있다. [2]	프갤러(118.218)	11.08	84	0
2771499	하나뿐인 친구 군대간다고 102000원씀 ㅇㅅㅇ	ㅇㅇ(223.62)	11.08	26	0
2771498	완전히 닌텐도가 운명하셨습니다. [1]	도리스아(112.170)	11.08	34	0
2771494	c#의 생산성을 잡으면서 C++의 실행 속도를 잡은 블록코딩 언어 [2]	재현	11.08	71	0
2771493	루비 ON 레일즈 시작한다	프갤러(59.2)	11.08	23	0
2771491	미래의 어느 역사학자들의 대화라는데 (에필로그)	아갤러(121.129)	11.08	42	0
2771490	미래의 어느 역사학자들의 대화라는데 (요약편) [1]	아갤러(121.129)	11.08	46	0
2771489	요즘 nextjs 쓸 때 모듈화 잘 안하는 추세임? [3]	프갤러(121.139)	11.08	56	0
2771488	미래의 어느 역사학자들의 대화라는데	아갤러(121.129)	11.08	33	0
2771487	역시 고졸 꼴통들상대로하는 장사만큼 꿀통장사가없노	프갤러(211.36)	11.08	43	0
2771482	중소에서 1년 찍었는데 이직 난이도 어떰?? [2]	프갤러(220.116)	11.08	105	1
2771481	지금 인프런보고잇는사람잇음ㅇ ㅇ?? [4]	ㅇㅇ(211.234)	11.08	100	0
2771480	객관적으로 좀 봐주라 [1]	ㅇㅇ(221.142)	11.08	63	0
2771476	네트워크기초인데 아이피 라는게 돌려 쓰는거야? [11]	프갤러(153.246)	11.08	87	0
2771471	정신분열에 걸릴거 같다 [2]	프갤러(39.121)	11.08	56	0
2771469	파이썬 사용하는데 프레임워크 뭐 써야함? [1]	프갤러(221.141)	11.08	51	0
2771467	제발 개발자 하지 마라 니 인생 소중하다 [7]	프갤러(118.235)	11.08	147	1
2771464	금요일인데 ㅅㅅ 못하는 프붕이들 손들어보세요 [2]	40대프린이(118.235)	11.08	80	0
2771463	아 오늘 금요일이였네.	40대프린이(118.235)	11.08	29	0
2771460	공부하다가 이런거 알게되면 웃기네 ㅋㅋ [1]	ㅇㅇ(211.198)	11.08	93	0
2771457	이직하고 첫 주말 월급일인데 [5]	프갤러(211.234)	11.08	75	0
2771456	대전신입은 씨발 연봉이 왜다 이따구냐? [4]	프갤러(223.39)	11.08	105	0