✂️컨텍스트 커터 하이파 미사용시 캐싱 안정성을 높여주는 모듈 (174678332)

참고한 글
캐싱에 대한 잡다한 정보글
캐싱 최적화된 세팅으로 비용을 절감해보자 - 기초 설명과 실전 적용
<코덱스쨩의 이해가 쏙쏙 되는(아마도) 설명>
<그래서 이게 뭔데?>
쉽게 말하면 내돈내산단+장기기억 플러그인(특히 위그로어) 유저들을 위한 모듈임
챗붕이의 지루하고 현학적인 설명
장기기억 플러그인을 쓰면 보통 하이파를 끄고 챗질을 할텐데 그러면 하이파가 돌아가면서 만들어주는 컨텍 여유분이 없음
(하이파를 키면 입력 토큰이 최대 컨텍을 넘을 때마다 과거 챗들을 요약해주면서 그 요약된 과거 챗 부분은 컨텍에서 제외를 해줌. 즉 하이파 요약이 한 번 돌고 나면 그만큼 컨텍에 여유분이 생김)
근데 하이파 미사용시 최대 컨텍을 넘기면, 그만큼 과거 챗이 하나씩 밀려서 컨텍에 들어가게 됨 (위에 코덱스쨩이 해준 설명처럼)
과거 챗이 컨텍 중에 상당히 많은 부분을 차지하는데 이 부분이 밀려버리면 캐싱이 적게 들어가게 됨
(로어북 켜졌다가 꺼졌다가 하는 걸로도 캐싱이 깨지긴 하지만 위그로어 쓰면 프롬 내에서 로어북 블럭을 삭제하니까 이 경우는 고려하지 않음)
7.2k가 하이파 미사용시 최대 컨텍에 도달했을 때 캐싱된 양임
반면 이 모듈을 쓰면 이렇게 캐싱 범위가 확 넓어짐 (중간에 캐싱 깨진건 테스트하느라 ㄱ-)
모듈이 하는 일은 하이파가 컨텍 여유분을 만드는 방식이랑 똑같음
대신 요약본을 만들지는 않고, 어차피 장기기억 플러그인을 쓰니까 잘려나간 과거 챗만큼의 기억도 손실되지 않음
<모듈 토글>
디버그 로그
는 버그 리포트 용도, 현재 챗 변수에 모듈 작동 상황을 최대 6개까지 기록함
문제 발생했을 때 토글 키고 채팅 몇 번 보낸 다음에 변수 복붙해서 제보해주면 좋음
/컨텍리셋
은 말 그대로 컨텍 제외 상태를 초기화하는 명령어임
나머지 토글들은 캡션 참고
입력 토큰이 기준 컨텍을 넘은 뒤 확인해봤을때 이렇게 여유 컨텍이 들어가있으면 정상
위그로어랑 같이 쓸 때 유의
모듈이 돌아가서 과거 챗을 한번 자르고 나면 이런 창이 뜰 수가 있는데 그대로 진행 눌러도 별 지장은 없음
아마도...
경고창 계속 뜨는게 번거로우면 위그로어 설정에서 저 X표시 친 설정을 꺼버리면 됨
테스트를 진득하게 못 해봐서 불안정할 수 있음
그리고 내가 짚+위그로어밖에 안 써봐서 다른 장기기억 플러그인/잼,클 캐싱 환경에서도 호환될지 잘 모르겠음...
ㅍㄾ