그림체 학습 추가) (176676535)

안녕
최근 에로스 타워 때문에 채팅을 정신없이 퍼먹다가
겨우 정신 차리고, 아래 프로그램과 삽화 워크플로우 프로세스를 업데이트 했어
ComfyUI 에셋/삽화 매니저-V4(로라매니징/ANIMA Ready/오토매치)
ComfyUI 삽화 워크플로우-V3(1차 봇 단일/2차 봇 다인 일관성 강화)
이번 업데이트 글을 따로 쓴 이유는
1. 홍보 목적(삽화 프롬프트를 OOC마냥 패는 신기한 기능이 생겼으니까)
2. 업데이트 양이 많음
3. 매니저 프로그램과 삽화 워크플로우는 서로 연동되어 있으므로, 기존 사용자 입장에서 왔다갔다 하면서 보는 것보단 정리된 글을 보는게 편할 것 같음
다만 그림체 로라의 경우 기존과 동일하게 소개글 추가 가이드에 작성했어
(새로 설치하는 사람에게 혼동을 덜 주기 위한 목적)
업데이트 방법 및 유의점
이번 업데이트에서 기존 사용자가 유의해야하는 부분을 정리하면 다음과 같아
1. 삽화 워크플로우 및 ANIMA 기반 에셋 워크플로우 교체
2. 그림체 학습을 위한 워크플로우 2종 추가 다운 받기
3. 타율 개선을 위해 삽화 모듈 교체하기(옵션이지만, 해주는거 추천)
글 가독성을 위해 접기 블럭을 활용했으니 필요하면 펼쳐주자
업데이트 가이드
이번 업데이트는 2개의 워크플로우 교체와 2개의 워크플로우 추가가 필요해
그림체 로라 적용을 위해 기존 삽화 워크플로우와 ANIMA 기반 에셋 워크플로우를 프로톤에서 다운 받아 교체해주자
또한 그림체 학습을 위한 워크플로우를 준비했어
동일하게 다운받아서 준비해주자
https://drive.proton.me/urls/RS0Y2NTZZ8#G8r7ZkL69xz9
만약 직접 개조한 워크플로우로부터 업데이트를 적용하고자 한다면, 아래 세 부분을 교체하면 되(삽화와 에셋(ANIMA) 거의 유사)
잘 모르겠다면, 그냥 이번에 배포한 워크플로우를 다운받은 후 개인 개조 내역을 적용하는게 편할꺼야
프롬프트 파서
스타일용 배치로라 노드 추가(ANIMA 구간)
스타일용 배치로라 노드 추가(ILXL 구간)
ILXL 에셋 워크플로우는 ANIMA 워크플로우와 달리 교체가 필요없어
기존 것 그대로 써도 무방해(기존 LoRA 데이터 블럭에 스타일로라가 포함되어서 들어감)
삽화 워크플로우에서 ANIMA 모델을 최신 모델로 바꾸었어
큰 체감은 없으니, 모델 변경이 필요없다면,
그냥 원본 ANIMA로 바꿔쓰면 됨(필요하다면, CIVITAI ANIMA 모델 링크에서 다운받아서 사용)
매니저 프로그램 설정에서 이번에 다운받은 워크플로우를 적용해주자
다음으로, 리스의 삽화 모듈을 교체해주자
프로그램에 NAME 필드를 추가로 넘겨줘야하기 때문에 V3 계열 삽화 워크플로우를 쓰는 경우
내가 배포한  개조 삽화 모듈을 쓰는건 거의 필수야
내가 한건 타율을 높이기 위한 개조와 필요한 필드를 추가한것 뿐이니까
모듈 측 프리셋만 교체해준다면, 챈섭 삽화나 NAI 등 호환도 문제없이 가능
https://drive.proton.me/urls/VCVXPXN18M#pU3alCDwURvh
마지막으로 매니저 프로그램 본체와 comfyUI 주요 커스텀 노드 업데이트를 위해
프로그램에 포함된 Git Updater를 돌려주면 업데이트 끝이야
업데이트 1.
외부 API 설정 개선
외부 API 설정 개선 내역
LLM2도 테스트 가능하며, API 분기 탭에서 어떤 서비스에 어느 LLM을 사용할지 설정할 수 있어
동시 호출 횟수를 조절 가능해(작업 속도 개선 목적)
프로바이더에 따라 허용하는 동시 호출 횟수가 다르니까 알아서 잘 설정해주면 되
또한 RPM등이 모두 다를테니 실패시 재시도 대기초도 알맞게 설정해주면 되고
외부 API 분기 탭
마지막으로, LLM API 호출은 Comfy 호출 작업이 아니므로, Comfy 워크플로우를 실행시킴과 동시에 LLM 관련 작업을 할 수 있거든?
그래서 내부적으로 큐 그룹을 분리시켜서 병렬화가 가능하도록 했네
업데이트 2.
삽화 이미지 재생성 및 관리 프로세스 개선
1. 삽화 이미지 삭제 버튼이 추가됨
2. LLM과 함께 수정 버튼이 추가됨(LLM이 태그와 이미지를 보고, 사용자가 원하는 방향으로 프롬프트를 다시 짬)
3. V3 삽화 한정 재생성 버튼을 눌렀을 때, Seed를 보전할지 바꿀지 선택하는 모달이 뜸
그림체 로라랑 더불어 이번 가장  큰 업데이트야
리스로 치자면 OOC 불러서 패는 거라고 보면 될 듯
QWEN IMAGE EDIT이 아닌 LLM으로 태그를 고쳐주는 기능이야
태그 자체를 바꾸는 기능이라 자세 변경 같은 큰 사항도 적용 가능한게 장점이고
잼마 계열은 검열도 낮아서, NSFW 찐빠도 수정 가능하네
(다만 NSFW 남발로 인한 밴 등은 책임 못져)
요청: 캐릭터가 윙크하게 바꿔줘
Before
After
요청: 캐릭터가 도기 스타일로 엎드려 있으며, 얼굴이 안 보이고 등이 보이게 해줘
Before
After
자세한 내역 보기
삽화 V3 계열 LLM 수정 예시 및 수정 수준(시드 고정 지원)
결과(V3)
요청: 뿔과 날개, 꼬리를 제거해줘
Before
After
삽화 V1 계열 LLM 수정 예시 및 수정 수준(시드 고정 미지원)
결과(V1)
요청: 캐릭터 머리색을 붉은 색으로 바꾸고, 윙크하자, 그리고 나무 판자를 제거해줘
Before
After
V3 계열은 재생성 버튼시 시드 변경 모달이 뜸
변경한 삽화는
예약 -> 리스측 삽화 이미지 구석의 삼각형 버튼을 눌러 교체하면 되(아래 움짤 참고)
팁을 하나 주자면, cerebras사의 gemma를 사용하는 걸 추천할께
(현 시점 무료, TPM에 안걸리면서 빠른 속도)
cerebras gemma를 이용할때는 외부 API 분기에서 JSON을 꺼주자(cerebras는 JSON 포맷 강제 파라미터가 지원 안됨)
반면 올라마의 gemma 혹은 vertex 잼삼오플을 쓸때는 Json을 켜주는게 좋아(파싱 실패 확률을 극적으로 낮춰줌)
다른 프로바이더는 테스트틀 안해봤지만 구석 하단에 입력과 출력이 뜨니 분석해서 하면 됨
잘 안되는 다른 프로바이더 있으면 제보해줘
업데이트 3.
삽화 모듈 불법 개조 개선
1.
삽화찐빠를 많이 줄여주는 조각프롬
을 삽화모듈에 통합하고 2단계 삽화 강화 기능 추가
2. 컨텍스트 필터 추가
3. 안정성 개선
삽화 찐빠를 많이 줄여주는 조각 프롬이 괜찮은 자료인데
에셋처럼 메인 LLM 성능에 크게 좌우되고, 다른 프러그인이나 모듈과의 호환성이 안좋고
글을 딱딱하게 만드는것 같아서 아쉬워서
불법 개조 했네
자세한 내역 보기
삽화찐빠를 줄여주는 조각프롬을 삽화모듈에 통합했어
다만 원본글에서 제안하는 방식의 개선여지가 보여서 통합하면서 안정성을 높였네
(삽화 모듈 기존 다듬기랑 동작이 다름)
https://drive.proton.me/urls/VCVXPXN18M#pU3alCDwURvh
에서 배포한 모듈을 다운 받으면, 삽화에 강화(2단계) 항목이 보임
활성화하면, 조각 프롬 기반으로 보조모델이 컨텍스트를 임시로 강화 후
삽화 모듈이 태그를 뽑아내도록 되어 있음
(즉 컨텍스트 강화 한번, 태그 한번 해서 총 2번 LLM을 Call함)
또한 활성화시 본문에 CharacterBaseTags 블럭을 남겨, 일관성 개선에 기여함
(이정도로는 컨텍스트 오염이 안되고, 이득이 더 큰것 같아 남김)
2. 컨텍스트 필터 추가
에로스 타워 등을 쓰는 경우, 모듈들이 본문에 흔적을 남기는데, 이것이 삽화모듈의 컨텍스트에 그대로 들어갈 경우 삽화 태그를 제대로 뽑아내지 못해(컨텍스트 오염으로 인한 능지 하락)
또한 봇에 따라서 상태창이나 달력 같은 정보를 표시해주는 경우도 있는데 이 역시 제거하는게 타율에 도움이 되
예시. 에로스 타워
기가트랜스의 패턴보호 방식을 참고해서,
필요없는 컨텍스트를 임시로 제거 후 넣을 수 있도록 필터를 추가했어
예를 들어 에로스 타워는 본문에 다음과 같은 흔적을 남기는데
<!-- EROS_TOWER_ARTIFACT_BEGIN id="translation-visible-1txwefg" type="translation" source-b64="IyDlv5znrZQKCiMjIy
MgQ2hhdGluZGV4OiAxMTXiiK4K4o-x77iPWzIwMjgtMDUtMjMgKO2ZlCkgMDY6NDUgUE1dCgrrjZzsu7ksIO2VmOqzoC