RisuTTS) 로컬 모델을 통한 실시간 TTS 생성 플러그인 (1738

RisuAI 로컬 RP TTS 플러그인
RisuTTS 설치와 사용 가이드
RisuAI 채팅 대사 옆에 스피커 버튼을 붙이고, 로컬 TTS 서버로 캐릭터 보이스를 생성합니다.
첫 배포판 기준
Windows + NVIDIA CUDA
작업 위치
각 단계마다 폴더가 다릅니다.
Set-Location
이 적혀있다면 그대로 붙여넣으면 됩니다.
명령어 붙여넣기
별도 안내가 없으면 코드 상자 전체를 한 번에 복사해서 PowerShell에 붙여넣어도 됩니다.
중간에 멈추는 명령
메모장처럼 창이 열리는 명령은 파일을 수정하고 저장한 뒤 다음 단계로 넘어갑니다.
이 글의 목표
RisuAI는 이미 설치되어 있다고 가정합니다. 여기서는 TTS 서버, 보이스 레퍼런스 헬퍼, RisuTTS 플러그인 설정만 다룹니다.
Irodori-TTS-Server
RisuAI에서 누른 대사를 실제 wav 음성으로 만드는 로컬 서버입니다.
보이스 디자인 런타임
TTS 서버에 올린 600M 보이스 디자인 모델 하나로 대사와 보이스 레퍼런스를 모두 만듭니다.
RisuTTS 플러그인
스피커 버튼, 보이스 탐색기, 번역, 감정 디렉터를 담당합니다.
먼저 알아둘 것
처음 설치할 때
이 가이드의 0번부터 8번까지 따라가면 됩니다. 모델 다운로드가 있어서 시간이 걸릴 수 있습니다.
설치 완료 이후
아래쪽의
1분 가이드
만 보면 됩니다.
사용 모델
RisuTTS는 보이스 디자인 캡션과 감정 디렉터 반영을 위해 Aratako/Irodori-TTS-600M-v3-VoiceDesign 모델을 사용합니다. 저사양 그래픽카드는 bf16으로 켜서 VRAM 부담을 줄이고, 고사양 PC에서는 fp32 실행 파일로 원래 정밀도로 이용할 수 있습니다.
실사용 TTS
TTS 서버가
Irodori-TTS-600M-v3-VoiceDesign
을 CUDA에 올려두고 대사를 생성합니다.
보이스 레퍼런스
보이스 탐색기에서 만드는 레퍼런스도 같은 TTS 서버 런타임이 만들고, 선택한 wav를 캐릭터 목소리 기준으로 씁니다.
사용 전 확인
속삭임, 울먹임, 분노 같은 보이스 디자인 캡션이 들리는지, 목소리 일관성과 발음 안정성이 유지되는지 비교합니다.
0. 준비물과 폴더 만들기
필요한 프로그램
Git, uv, NVIDIA 그래픽 드라이버가 필요합니다. Python은 직접 설치하지 않고, 다음 단계에서 uv가 3.10 환경을 준비하게 둡니다.
권장 설치 위치
이 글은 TTS 관련 폴더를
C:\AI
아래에 설치한다고 가정합니다.
이 단계의 목표
아직 모델을 다운로드하는 단계가 아닙니다. 먼저 PowerShell에서 Git, uv, NVIDIA CUDA 드라이버가 잡히는지 확인하고, 서버를 받을 폴더만 만들어둡니다.
현재 위치
아무 곳이나 가능
입력 방식
한 번에 복사
하는 일
설치 여부 확인
git --version
uv --version
nvidia-smi
정상이라면 Git 버전, uv 버전, NVIDIA GPU 정보가 표시됩니다.
nvidia-smi
가 실패하면 NVIDIA 그래픽 드라이버를 먼저 업데이트하고 재부팅한 뒤 다시 확인하세요.
현재 위치
아무 곳이나 가능
입력 방식
필요한 줄만 하나씩 실행
하는 일
Git/uv 설치
winget install --id Git.Git -e --source winget
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
Git이 없으면 첫 줄만, uv가 없으면 둘째 줄만 실행합니다. 둘 다 설치되어 있다면 이 상자는 건너뜁니다. 새로 설치한 뒤에는 PowerShell을 완전히 닫았다가 새로 열고, 위의 설치 여부 확인 명령을 다시 실행하세요.
현재 위치
아무 곳이나 가능
입력 방식
한 번에 복사
하는 일
C:\AI 폴더 생성
New-Item -ItemType Directory -Force C:\AI
1. Irodori-TTS-Server 설치
실제 TTS 음성을 생성하는 서버를 설치합니다.
현재 위치
C:\AI
입력 방식
한 번에 복사
중요
CUDA용 설치
Set-Location C:\AI
git clone https://github.com/Aratako/Irodori-TTS-Server.git
Set-Location C:\AI\Irodori-TTS-Server
uv python install 3.10
uv sync --extra cu128
첫 줄에서 C:\AI로 이동하므로 PowerShell을 어디에서 열었든 그대로 붙여넣어도 됩니다. uv python install 3.10에서 이미 설치되어 있다는 경고가 뜨면 보통 그대로 진행해도 됩니다. 중요한 것은
uv sync --extra cu128
로 CUDA용 PyTorch가 설치되는 것입니다.
2. 서버 설정 파일 열기
먼저 PowerShell에서 .env 파일을 만들고 메모장으로 엽니다. 그다음 열린 메모장 안에서 설정값을 확인하거나 수정합니다.
현재 위치
C:\AI\Irodori-TTS-Server
입력 방식
한 번에 복사
중간 동작
메모장 열림
PowerShell에 붙여넣을 명령
Set-Location C:\AI\Irodori-TTS-Server
Copy-Item .env.example .env
notepad .env
위 명령을 실행하면 메모장이 열립니다. 아래 값은 PowerShell에 입력하는 명령이 아니라, 열린 .env 파일 안에서 확인하거나 적어 넣을 설정값입니다.
메모장 .env 안에 들어갈 값
IRODORI_MODEL_DEVICE=cuda
IRODORI_CODEC_DEVICE=cuda
IRODORI_MODEL_PRECISION=bf16
IRODORI_CODEC_PRECISION=bf16
IRODORI_PRELOAD=true
IRODORI_HF_CHECKPOINT=Aratako/Irodori-TTS-600M-v3-VoiceDesign
이미 같은 항목이 있다면 중복으로 새 줄을 추가하기보다 기존 줄의 값을 위처럼 바꾸면 됩니다. 현재 가이드는 보이스 디자인 캡션과 감정 디렉터 반영을 위해 600M 보이스 디자인 체크포인트와 bf16 실행을 기준으로 안내합니다.
3. CUDA가 잡히는지 확인
현재 위치
C:\AI\Irodori-TTS-Server
입력 방식
한 번에 복사
정상 결과
True와 GPU 이름
Set-Location C:\AI\Irodori-TTS-Server
uv run --extra cu128 python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'CUDA not available')"
False가 나오면 1번 단계의 uv sync --extra cu128이 제대로 적용됐는지 확인하세요. 확인 명령도 uv run --extra cu128로 실행해야 합니다.
4. RisuTTS 서버 패치 준비
보이스 레퍼런스 생성을 TTS 서버 안에서 처리하려면 RisuTTS 폴더의 app.py가 Irodori-TTS-Server에 적용되어야 합니다.
현재 위치
RisuTTS 폴더
입력 방식
따로 입력할 필요 없음
용도
서버 기능 추가
현재 배포판의
start-risutts.cmd
는 실행할 때 RisuTTS 폴더의
app.py
를
C:\AI\Irodori-TTS-Server\src\irodori_openai_tts\app.py
에 자동으로 복사합니다.
start-risutts.cmd 창에
[TTS] Applied RisuTTS server app.py to Irodori-TTS-Server.
가 보이면 패치가 적용된 것입니다. 이미 TTS 서버가 켜져 있었다면 창을 닫고 다시 켜야 새 app.py가 반영됩니다.
5. RisuTTS 서버와 헬퍼 켜기
설치가 끝난 뒤에는 RisuTTS 폴더의 start-risutts.cmd를 실행하면 TTS 서버와 보이스 레퍼런스 헬퍼가 함께 켜집니다. 기본 실행은 bf16이며, 고사양 PC에서 원래 정밀도(fp32