Skip to content

Latest commit

 

History

History
135 lines (97 loc) · 8.11 KB

README_JA.md

File metadata and controls

135 lines (97 loc) · 8.11 KB
Raw

BallonTranslator

简体中文| English | Русский | 日本語 | Indonesia

ディープラーニングを活用したマンガ翻訳支援ツール。

プレビュー

特徴

  • 完全自動翻訳

    • 自動テキスト検出、認識、削除、翻訳をサポートし、全体的な性能はこれらのモジュールに依存します。
    • 文字配置は、原文の書式推定に基づいています。
    • 漫画やコミックでまともに動作します。
    • マンガ->英語、英語->中国語の組版が改善されました（バルーン領域の抽出に基づく）。

  • 画像編集 マスク編集とインペイントのサポート（PSのスポットヒーリングブラシツールのようなもの）

  • テキストの編集 リッチテキストフォーマットをサポートし、翻訳されたテキストはインタラクティブに編集することができます。

使用方法

Windowsユーザーは、腾讯云またはMEGA or Google Drive(note: you also need to download latest Ballonstranslator-1.3.xx from GitHub release and extract it to overwrite Ballontranslator-1.3.0-core or older installation to get the app updated.)

ソースコードの実行

# このリポジトリのクローン
$ git clone https://github.com/dmMaze/BallonsTranslator.git ; cd BallonsTranslator

# macOSの場合、requirements_macOS.txtをインストール
$ pip install -r requirements.txt

NVIDIA GPUをお持ちの場合、GPUアクセラレーションを有効にするためにpytorch-cudaをインストールします。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu116

MEGA or Google Drive から data フォルダをダウンロードし、BallonsTranslator/ballontranslatorに移動して、最後に以下を実行します

python ballontranslator

Sugoi Translator（日英のみ）を使用するには、オフラインモデルをダウンロードし、"sugoi_translator"をBallonsTranslator/ballontranslator/data/modelsに移動してください。

完全自動翻訳

**万が一、プログラムがクラッシュして情報が残らなかった場合に備えて、以下のgifを参考に、ターミナルで実行することをお勧めします。**また、初回実行時に希望するトランスレータを選択し、ソース言語とターゲット言語を設定してください。翻訳が必要な画像が入ったフォルダを開き、 「実行」ボタンをクリックして処理が完了するのを待ちます。

このとき、フォントサイズや色などのフォントフォーマットはプログラムによって自動的に決定されますが、panel->Letteringで、対応するオプションを"decide by program"から"use global setting"に変更すれば、これらのフォーマットを事前に決定できます（グローバル設定とは、シーン内の テキストブロックを編集していないときに右フォントフォーマットパネルで表示されるフォーマットのことです）。

画像編集

修復ツール

画像編集モード、修復ツール

長方形ツール

長方形ツール

不要なインペイント結果を"消去"するには、右ボタンを押した状態でインペイントツールまたは矩形ツールを使用します。 結果はアルゴリズム(gifの"方法1"と"方法2")がどれだけ正確にテキストマスクを抽出するかに依存します。複雑なテキストと背景の場合、パフォーマンスが低下する可能性があります。

テキスト編集

テキスト編集モード

テキストの一括書式設定と自動レイアウト

ショートカット

  • A/D または pageUp/Down でページをめくります。
  • Ctrl+Z, Ctrl+Y でほとんどの操作を元に戻す/やり直すことができます。
  • T でテキスト編集モード、（または下部のツールバーの「T」ボタン）W を押してテキストブロック作成モードを起動し、右ボタンをクリックしたままキャンバス上でマウスをドラッグすると、新しいテキストブロックが追加されます。(テキスト編集のgifを参照）。
  • Pで画像編集モードへ。
  • 画像編集モードでは、右下のスライダーでオリジナル画像の透明度を調整します。
  • 下のツールバーの「OCR」と「A」ボタンは、OCRと翻訳を有効にするかどうかを制御し、それらを無効にした場合、プログラムはテキストの検出と削除を行いますだけです。
  • 設定パネルで自動モジュールのパラメータを設定します。
  • 画像のサイズを変更するには、Ctrl + +/。

Automation modules

このプロジェクトはmanga-image-translatorに大きく依存しており、オンラインサービスやモデルトレーニングは安くないので、プロジェクトの寄付を検討してください:

Sugoi translatorは、mingshibaによって作成されています。

文字検出

英語と日本語のテキスト検出をサポートし、学習コードと詳細はcomic-text-detectorに掲載されています

OCR

  • mit_32pxのテキスト認識モデルは、manga-image-translatorのもので、英語と日本語の認識とテキスト色の抽出をサポートしています。
  • mit_48pxのテキスト認識モデルは、manga-image-translatorのもので、英語、日本語、韓国語の認識とテキストカラーの抽出をサポートしています。
  • manga_ocrはkha-whiteからです、

修復

  • AOTは、manga-image-translatorからです
  • patchmatchはPyPatchMatchのnondl algrithomで、このプログラムは私による修正版を使用しています。

翻訳者

  • GFW によってブロックされていない場合は、goolge トランスレータの URL を *.cn から *.com に変更してください。
  • Caiyunの翻訳者はtokenを必要とします
  • papago
  • DeepL & Sugoi translator(およびCT2変換)、Snowad14に感謝します

新しいトランスレータを追加するには、how_to_add_new_translatorを参照してください。これはBaseClassをサブクラスにして、2つのインターフェースを実装するだけでアプリケーションで使用できますので、プロジェクトへのコントリビュートは歓迎します。

その他

  • あなたのコンピュータにNvidia GPUがある場合、プログラムはデフォルトですべてのモデルのcudaアクセラレーションを有効にし、およそ6G GPUメモリを必要とします。
  • ロシア語のローカライズを担当したbropinesに感謝します。