게웨 짚오육 캐싱해줘 (176998217)

프로톤 링크
llm-gateway 에서 짚오육 쓸때 쓰려고 만든 프로바이더임
게웨 전용
대충
자동으로 캐싱
시도한다는 내용
모델은
짚오육 라인만
있음 (luna / terra / sol)
사용법:
- 플러그인을 추가한다
- API 키를 넣는다
- 새로고침한다
- 채팅 ㄱㄱ
모델 선택은 Plugins > LLM Gateway (굉장히 불친절하다)
또... 뭐더라.. 뭐쓸랬지..
아 굉장히 단촐한 플러그인인데 몬가 이런거 뿌려놓으면 누군가 개선해서 만들어주지 않을까 싶어서 일단 던짐
그때까지 임시로 쓰려고 만든거
해 줘(제발요) -> 해줬다(야호)
때문에 분재 가꾸듯 계속 업뎃은 할 예정이지만?
유기 가능성이 높으니 따거 프로바이더에 안착하시는걸 추천드립니다.
미니파이 안된 소스코드는 여기
깃헙
다들 굿밤...
아 그 뭐지 CC0 임
업데이트 로그
---
v0.17.0
-
프롬프트 캐시 키 유저 별 분리
(이전엔 모두가 같은 키를 썼었음.. 오히려 같은 프롬이라면 이득을 보지만, 1분 내에 15 요청 넘게 들어오면 캐시쓰기가 되지 않을 리스크가 있어 분리함)
- 요청 로그 볼 수 있게 추가. 다만 새로고침시 사라지고, 최근 5개까지만 저장됨 (불필요한 저장을 피하기 위함)
v0.16.0
- 스트리밍 응답에 에러가 포함된 경우 빈찬합으로 나오던 이슈 수정 (리포팅 정말 고마워요)
- 에러코드 추가 (LGP:ERR:001 같이 보일 예정), 에러 문구 보정 (개발 용어 덜어내기)
v0.15.0
- requireAlternateRole 플래그에 설명 툴팁 추가 (알려줘서 정말 고마워요)
- 경고 문구 위치 변경(닫기 옆)
- 최초 설치시 새로고침 안내 추가
v0.14.10
- 서비스 티어 명시 (무조건 flex 또는 default 로 기입)
- 계정 따라가게끔 비워두게 만들었었는데, 서비스 티어 명시하면 openai 로 라우팅 된다고 해서 고정되게 수정함
- 관련 글:
https://arca.live/b/characterai/177779937
(정말 고마워요)
v0.14.9
-
무조건 프록시 거치게 수정
(CORS 대비)
- 직접 요청 보내기 설정과 무관하게 동작하게끔 하기 위해 구버전 API 를 사용함 (사용 비권장)
- 이후 리스에서 미지원시 플러그인도 같이 죽을 예정..
v0.14.8
- iOS  호환성 개선 (툴팁 제대로 작동안 하거나 머 그런거..)
v0.14.7
- flex 티어를 기본 값으로 설정 (why not)
v0.14.6
- max_completion_tokens 로 잘못보내던걸 max_tokens 로 수정 (플러그인 버그임)
- 그러나? llm-gateway 에서? max_tokens 를 무시하고 있어 적용이 안되고 있음.. (게웨쪽 버그임)
-> 사실상 아무 영향없는 수정...
v0.14.5
- 설명 톤 앤 매너 통일 (~입니다 & ~해요 -> ~해요체로 통일)
- 에러 문구들도 좀 더 유저 친화적으로 수정 (그래도 아직은 플러그인 개발자한테 보여주긴 해야함..)
v0.14.4
- 캐싱 중단/재개 토스트 미노출 버그 수정
v0.14.3
- 에러 상황 세분화
- 리스에서 실패했는지, 요청이 실패했는지, 어떤 내용으로 실패했는지.. 등 좀 더 상황에 맞는 정보가 나오게 수정
v0.14.2
- UI 개선 (텍스트 일관성, 활성화된 속성 텍스트 대신 아이콘으로 보이게 수정)
(아래가 이전)
v0.14.1
- 고급 하단에 버전정보 나오게 수정
v0.14.0
- 캐싱 전략 보완 (다른 캐릭터, 챗 세션으로 가더라도 breakpoint 기억하게 수정)
- 이전엔 breakpoint 다 날아가서, 방어적으로 캐싱함. 마지막 breakpoint 를 기록해서, 어느정도 적극성을 부여함
- 다만 이번 수정으로 저장되는 데이터가 좀 늘어남, 부가적으로 계산할게 추가됨.
개인적으로 어느정도의 불안정성이 예상되므로, 문제가 있다면 직전 버전을 사용하는것 추천
v0.13.0
- 캐싱 전략 보완 (최근 breakpoint 는 덜 건들게 수정)
- 아무튼 장기 대화에서의 캐싱 효율이 좋아졌다는 내용임
(내가 텍스트 옮겨붙이는 것 보다 정리된거 복붙하는게 포매팅 되어있어서 더 나은 듯ㅋㅋ;)
v0.12.1
- UI 보완 (아이콘 보완, 라이선스 고지 업데이트)
v0.12.0
- UI 개편 (기분굿)
(아래가 이전)
v0.11.1
- 자동완성 툴팁이 아래에 공간이 없을 경우 위로 나오게 수정
v0.11.0
- Request body JSON 커스텀 값 넣을 수 있게 수정
- 권장하지 않는 값을 입력하면 경고가 나옵니다. (웹서치 되는 것도 확인, 0.10.0 이미지 참조, 올해 7월 출시겜)
v0.10.0
- 이미지 인풋 플래그 추가 및 동작하게 수정
- (대충 이미지 보낸거 보고 어떤 게임인지 맞추는 짤)
v0.9.0
- 캐싱 방식 개선 (후보로 올리고 다음 일치시 즉시 캐시쓰기 시도)
- 지난 0.8.0 때 캐시 후보로 올리고 한 턴더 후보를 유지하는데,
이때 불필요한 쓰기를 피하는 것 보다 맞춰야하는 캐시를 놓치는게 손해가 더 크다 판단함.
살짝 더 적극적으로 캐시쓰기를 시도함
v0.8.0
- 캐싱 방식 개선 (중간 breakpoint 가 깨지더라도 전체를 다시쓰지 않음)
- 0.7.0 의 후속 작업. 프롬 구조에 따라 크게 깨지는 경우가 있어, 더 방어적으로 바꿈
v0.7.0
- 캐싱 방식 개선 (마지막 breakpoint 연속 2회 miss 시, 캐시쓰기 대신 모니터링)
- 공격적 캐싱을 하다보니 경우에 따라 손실이 누적되는 케이스가 생김
이득은 못 볼지언정 손해보는건 아니라 생각해 조금의 방어 처리를 추가함
v0.6.4
- 내부 코드 개선
v0.6.3
- 새로고침시에만 캐싱 손익비용이 업데이트되는 버그 수정
v0.6.2
- '모델' 선택 영역을 위로, '응답 형식' 을 고급 아래로 이동
- 일부 문자 어둡게 보이는거 통일성 있게, 밝게 수정
v0.6.0
- 추론 / 장황함 설정을 슬라이더로 변경. as-is / to-be 는 아래 스샷 참고
(아래가 신규)
v0.5.1
- '캐시 끄기' 시에도 explicit & breakpoint 0 임을 명시(캐시 쓰기 0)
v0.5.0
-
사파리 환경에서 에러 발생 but 요금 여러번 청구되는 버그 수정
(제보 감사합니다아)
v0.4.0
- 설정이 기기간 공유되게 수정
v0.3.0
- 렌더링 방식 변경 (raw html -> preact, tailwind) (기능 변경 x)
v0.2.0
- 스트리밍, 서비스티어 설명 및 라벨 변경, 설명 툴팁 추가
- 툴팁 동작 방식 변경
v0.1.0
- 첫 릴리즈
---