LiveCaptionN

LiveCaptionN은 Android 스마트폰을 다른 앱 위에 떠 있는 실시간 음성 자막 및 번역 도구로 바꿔줍니다. 마이크 또는 현재 실행 중인 앱의 오디오를 통해 사용자의 음성을 듣고, 말하는 내용을 단어 단위로 인식하여 선택한 언어로 번역한 후, 드래그하여 자막 창으로 만들어 시청, 스크롤 또는 학습 중인 화면 위에 표시합니다.

기본적으로 두 가지 기능 모두 기기 내에서 완벽하게 작동합니다.

• 스트리밍 Vosk 음성 인식 — 약 100ms 길이의 오디오 청크가 지속적으로 입력되는 장시간 작동하는 인식기를 통해 자막이 2초 간격으로 나타나는 것이 아니라 즉시 표시됩니다.

• Google ML Kit 기반 기기 번역 — 약 59개 언어를 지원하며, 언어 쌍당 약 30MB의 파일을 한 번만 다운로드하면 오프라인에 영구적으로 저장됩니다.

기본 파이프라인은 계정, 원격 측정 데이터, 서버 없이 작동합니다.

주요 기능

• 드래그하여 이동, 핀치 줌으로 크기 조절, 일시 정지, 최소화, 닫기 기능을 제공하는 플로팅 자막 오버레이 (앱 위에 표시됨)

• 마이크 또는 시스템 오디오(미디어 프로젝션 사용)를 동일한 저지연 파이프라인으로 전송

• 온디바이스 Vosk 음성 인식기 스트리밍 - Google Live Caption과 유사한 사용감

• 스페인어, 프랑스어, 독일어, 이탈리아어, 포르투갈어, 네덜란드어, 러시아어, 우크라이나어, 페르시아어, 힌디어, 중국어, 일본어, 아랍어, 베트남어 등 다양한 언어의 온디바이스 Vosk 모델을 다운로드할 수 있는 내장 다운로더 - 두 가지 품질 등급 제공: 소형(약 30~80MB) 및 대형 서버급(80MB~2GB, 최저 오류율)

• Google ML Kit을 통한 온디바이스 번역 기능 - 더 넓은 언어 지원을 위한 선택적 서버 백엔드로 LibreTranslate 사용 가능

• 앱 내에서 검색 가능한 번역 기록

• 오버레이 조정 가능: 텍스트 크기, 투명도, 너비, 높이, 화면 위치 기억 기능

• GitHub 릴리스를 통한 자동 업데이트 알림 API

개인정보 보호 최우선

LiveCaptionN은 계정을 생성하지 않고, 사용자를 추적하지 않으며, 분석 기능을 제공하지 않습니다. 음성 인식 및 번역 기능은 모두 사용자의 휴대폰에서 실행됩니다. 앱은 사용자가 요청할 때만 인터넷에 접속하여 Vosk 모델(alphacephei.com에서 다운로드)과 ML Kit 번역 쌍(Google 모델 서비스에서 다운로드)을 다운로드하고, GitHub에서 새 릴리스 빌드를 확인합니다. 설정에서 Whisper 또는 LibreTranslate 서버를 선택적으로 활성화하는 경우, 트래픽은 사용자가 설정한 URL로만 전송되며 다른 곳으로는 전송되지 않습니다.

요구 사항

• Android 10(API 29) 이상

• 마이크 권한(마이크 모드용)

• "다른 앱 위에 표시" 권한(플로팅 캡션 창용)

• 알림 권한(선택적 업데이트 알림용)

LiveCaptionN은 완전한 오픈 소스입니다. 모든 릴리스는 GitHub Actions를 통해 공개 커밋에서 빌드되며, 사용자는 이를 검토할 수 있습니다. GitHub에서 문제 보고, 피드백 및 풀 리퀘스트를 환영합니다.