PCOTではもうここまで作り込んでしまった後では流用できる処理も多いとはいえ、一から作り直しなレベルなので、流石に自分ひとりでは無理そうです・・・。
開発仲間が増えるか、自分がそうした様に(※)誰かがPCOTからヒントを得て新しい翻訳支援ツールを作成してくれるのを待つか、といったところですね。
※PCOTは元々synctam様の「Translation Aid for Eschalon(TA4E)」からヒントを得て焼き直したものです。現物がなかったので、100%独断と偏見で作ってますがｗ
【表示中の画像ファイルを削除】
これは、画像ビューアを作ってる最中に絶対付けようと思ってた機能だったのですが、画像ビューアが完成して嬉しさの余り気が抜けて実装を忘れてましたｗ
ちなみに「Eschalon Book I_001.png」「Eschalon Book I_002.png」「Eschalon Book I_003.png」という画像があった場合、「Eschalon Book I_002.png」を削除したとき、次に作成された画像が自動的に割り振られる
名前は「Eschalon Book I_004.png」になります。
これは、プロローグなどのスクショを取得している際に間違って画像を撮ってしまい、削除した場合などにファイル名の連番は歯抜けになりますが、次の画像名を歯抜けが埋まるような形で取得すると話の前後関係がおかしくなるという懸念からこういう形の実装になっています。予めご了承ねがいます。
あとＯＣＲの精度については、Capture2Text のソース（OcrEngine.cpp や OcrEngine.h）を参考にしてはいかがでしょうか。
「GSam/Capture2Text: Linux CLI port of Capture2Text v4.5.1」 https://github.com/GSam/Capture2Text
PCOTを更新しました。
今回は不具合修正のみです。
以下に更新項目を列挙します。
以下は今回の修正の説明です
【FindWindow関数について】
この関数を使用することにより、同タイトルの別プロセスを取得することが可能になったのですが、1プロセスの中に複数タイトルを持つ場合(ブラウザのタブなど)に正しく画面ハンドルを取得できなかったので、とれない場合はメイン画面の画面ハンドルを適用するように修正しました。
むしろ修正前より対応プロセス減ったんじゃ・・・と思われた方は申し訳ありません。この修正で直っている筈です。
【注意】
FindWindow関数は画面のプロセス名ではなくタイトル名から同じタイトル名でトップにある画面ハンドルを検索しにいく関数のようで、ここで取得される画面ハンドルはフォルダを含みます。
つまり、プロセス名と同じフォルダを開いていたりすると、そちらに接続されてしまいますので不要なフォルダは予め閉じてから操作するようにしてください。
対象プロセスが増えるとはいえ、中々に不便なのでそのうち直せそうなら直します・・・。
ちなみに「画面ハンドル」と言われてもプログラムをしない方にはなんのこっちゃって話なんですが、要は画面の識別番号の様なものです。
【名詞登録用に訳文で選択した単語が適用できない】
偶然見つけました・・・。そもそもこんな面倒な制御をしなきゃいけなくなったのはリッチテキストボックスのせい・・・という愚痴は今更なので言いませんｗ
最後に妄想を垂れ流します。
PCOTに関して言えば、もう作り切った感はあるのですが・・・翻訳支援ツールとしては実は全然満足していません。
以下に、本当はこうしたかったという妄想を列挙します。
これは、簡易画像ビューアを作って閃いたんですが、PCOTは全てのプロセスというわけではないんですが、フルスクリーンのスクショを取得することができます。なので、現時点のPCOTでも画像翻訳を使用すれば、一部フルスクリーンには対応できます。（実証済み）
手前味噌ですが簡易画像ビューアがとても有能で今までの流れの中に簡易画像ビューアを差し込めば普通にフルスクリーンに対応できそうな気がするんですよね。
というのも、PCOTではキャプチャー画面で編集できるのは読取倍率程度で、キャプチャー画面の起動前に、簡易画像ビューアを差し込めば、「フリー選択」ボタンを押す→スクショを撮る→簡易画像ビューアで表示→倍率などを指定してキャプチャー画面を起動→翻訳範囲選択→OCR→翻訳という流れで、固定翻訳の場合はこの一連の動作を予め設定ファイルで覚えておき「翻訳」ボタンだけで自動化すれば済む話です。
簡易画像ビューア上で、画像の二値化なども出来るようにすれば、Tesseractとあまり相性がよくなかった大津の二値化を使用せずに、ユーザー側でプレビュー見ながら画像の二値化の閾値を設定できるという強みもあります。
PCOTではもうここまで作り込んでしまった後では流用できる処理も多いとはいえ、一から作り直しなレベルなので、流石に自分ひとりでは無理そうです・・・。
開発仲間が増えるか、自分がそうした様に(※)誰かがPCOTからヒントを得て新しい翻訳支援ツールを作成してくれるのを待つか、といったところですね。
※PCOTは元々synctam様の「Translation Aid for Eschalon(TA4E)」からヒントを得て焼き直したものです。現物がなかったので、100%独断と偏見で作ってますがｗ
ただ・・・誰かが上に挙げた妄想を実現してくれるのを待つのは私の性分ではないので、無駄かも知れませんが開発仲間を募集したいと思います。
誰か「手伝ってもいいよ！」っていう熱い方がいたら声をかけてください。
というわけで、以下の条件で開発仲間を募集します。
一人でも集まったらPCOT2.0(仮称)を作りたいと思います。
以上の条件を受け入れてくれた上で、もし手伝ってもいいよって方がいたらお気軽にご連絡ください。
PCOTを更新しました。
今回の更新は前回の更新で書いた「もうちょっとなんとかしたかった部分」を直した更新になります。
大した更新ではありませんが、それなりに量があります。
以下に更新項目を列挙します。
さて、今回の更新について一つずつ説明します。
【画像翻訳画面をEscキーでも閉じられるように修正】
これについては書いたままです。PCゲームに慣れた人は一々「閉じる」ボタンをクリックする方が煩わしいだろうと思い、あっても邪魔にならないので実装しました。
【表示中の画像ファイルを削除】
これは、画像ビューアを作ってる最中に絶対付けようと思ってた機能だったのですが、画像ビューアが完成して嬉しさの余り気が抜けて実装を忘れてましたｗ
ちなみに「Eschalon Book I_001.png」「Eschalon Book I_002.png」「Eschalon Book I_003.png」という画像があった場合、「Eschalon Book I_002.png」を削除したとき、次に作成された画像が自動的に割り振られる
名前は「Eschalon Book I_004.png」になります。
これは、プロローグなどのスクショを取得している際に間違って画像を撮ってしまい、削除した場合などにファイル名の連番は歯抜けになりますが、次の画像名を歯抜けが埋まるような形で取得すると話の前後関係がおかしくなるという懸念からこういう形の実装になっています。予めご了承ねがいます。
【左ダブルクリックで画像を画面サイズに合わせる】
書いた通りです。調子に乗って画像サイズをどんどん拡大していった後に元のサイズに戻すのが大変な場合にご使用ください。
【Enterキーでキャプチャー画面起動】
これもEscキーと同じく、一々「フリー選択」ボタンをクリックするのが煩わしいと思う方もいると思うので実装しました。
【画面ハンドルの取得方法の見直し】
PCOTが対応していないプロセスに、以下の3パターンがあります。
この内の「1」については、そもそもプログラム一覧画面に表示されないのですが、問題は「2」と「3」で「2」については、フルスクリーンを無理やりアクティブ状態にしようとすると、同じプロセスでも失敗するときと失敗しないときがあって、動作が不安定です。(もともとフルスクリーンは対象外ですが)
今回の修正で「3」については、「見えている画面が必ずしもメイン画面であるとは限らない」ということに思い至り、メイン画面からWinAPIのFindWindow関数によって、メイン画面以外の画面サイズが取得できる画面ハンドルを探すことによって、対応プロセスが増えました。
実際増えたと言っても、こちらで確認しているのはRPGツクール2000位しかないので、あまり嬉しくないのですが・・・。皆様の環境で対応しているプロセスが増えていることを祈ります・・・。
ただ、この手法で完全に全てのプロセスを対象にできるかといえば、そんなことはなく・・・それについては依然として原因不明です・・・。
【翻訳表示画面のリサイズ】
どうして今までやらなかったんだと突っ込まれそうですが・・・変なところで拘ろうとした大人の事情です・・・申し訳ありません。
とりあえず、画面サイズの最小制限は表示時のサイズですが、最大サイズについては制限を外しました。これで自由自在に画面サイズを変えられるようになりました。
「参考画像」
この修正により、上の画像のように原文を拡げたり、逆に訳文を拡げたりと言った動作が可能になりました。
原文や訳文の上下のサイズを変えたい場合は上の画像の赤枠部分をドラッグしてください。
【URLジャンプ】
PCOTの原文、訳文表示にはリッチテキストボックスというものを使用していますが、今回初めて使いました。ハッキリ言って使いづらいです。使用した動機としては原文や訳文が表示サイズ内に収まらないときに自動でスクロールバーが出たら嬉しいなーと思っただけだったんですが、代償があまりにも大きかったです・・・。
というわけで、お勧めしませんｗ
で、本題なのですが原文にURLが入ったら勝手にハイパーリンクになったので(そうしないこともできますが)、どうせなら飛べるようにしてやろうと思い、実装しました。
最後に・・・
不具合というわけではないんですが、原文に画像をコピペすると画像が貼れちゃいますｗ
「参考画像」
「クリア」ボタンを押したり、次回翻訳した際に勝手に消えるので、特に制限は設けていません。こういうものだと思って頂けたらと思います。
だらだらと説明が続きましたが、更新は以上です。
PCOTを更新しました！
大分遅くなりましたが、無事更新できました。
以下に更新項目を列挙します。
もうちょっとなんとかしたい部分もありましたが、とりあえずここで一度更新しておきます。
さて、では今回の新機能の画像翻訳について改めて説明させていただきます。
【画像翻訳画面のイメージ】
簡易画像ビューアは簡易と名の付くだけあって、あまり大したことはできませんが、その分直感で使えると思います。
今回の更新内容は以上です。疲れたー。
【お知らせ】
現在PCOTに新しい機能追加を行っており、なかなか更新できずにいます・・・が、なんとか更新の目途がたちそうです！
色々と動かしてみて、ヤバイ不具合がなければ、明日(今日)中に更新したいと思います。
更新する前に先にどんな機能が増えて、何が出来るようになるかを説明させていただきます。
【新機能】
画像翻訳
【概要】
PCOTであらかじめ用意した画像ファイル(※後述)を読み込んで、フリー選択の要領で画像を範囲指定することにより画像ファイル内の文章を翻訳することができます。
【用途】
ゲームのプロローグなどの場合、バンバン文章が進んで選択して翻訳という作業が間に合わない場合などに予めスクリーンショットを撮りためて、後から順次翻訳していく形で使用していただけたらと思います。
※【画像ファイルの取得方法】
PCOT起動中にPrintScreen(Prt Sc)を押すことにより、PCOTはこれを奪って、実行ファイルと同階層に「image」フォルダ、その配下に「プロセス名」フォルダを作成し、その中に取得した画像がPNG形式で保存されます。
あんなに嫌ってた上にバッティングしまくるショートカットを使ったのは、
前にショートカットを実装して便利さに味を占めたそれがベストソリューションだと確信したからです！ｗ【画像翻訳の方法】
予め画像が保存されている場合、翻訳表示画面に新設した「画像翻訳」ボタンを押すと、簡易画像ビューアーが起動します。簡易画像ビューアーにある「選択」ボタンを押すとキャプチャー画面が起動するので、フリー選択の要領で翻訳したい箇所を選択すると、翻訳表示画面に翻訳結果が表示される仕組みです。
【簡易画像ビューアーの操作方法】
「←」キー・・・前の画像を表示
「→」キー・・・(あれば)次の画像を表示
「マウスホイール」・・・画像の拡大/縮小
「画像上をドラッグ」・・・拡大して画像が見切れた場合に画像を動かせます
「選択」ボタン・・・キャプチャー画面が起動します
「閉じる」ボタン・・・簡易画像ビューアーを閉じます(右上の×ボタンも同様)
※簡易画像ビューアーを閉じた場合は、閉じた状態を覚えていて、次に画像翻訳ボタンを押すと前の状態が復元されます。尚、プロセスを再選択したりPCOTを終了すると復元情報は失われます。
説明は以上になります。早ければ今日の夜には更新できると思うのでご期待ください。
最後に・・・愚痴です。
今回の更新にあたって、PrintScreenを奪って画像を保存するのはそんな大した手間ではなかったんですが・・・簡易画像ビューアー・・・これがとてつもない難関でした・・・というか、迷走しまくりました。
後進のために以下に迷走の経緯を書きますｗ
という感じでした。
そんなにムキにならんでも・・・と思われなくもないですが、最初PCOT上で画像を選択してユーザーが使用している既存アプリの画像ビューアを開いて、それを翻訳できる形にしようと思ったのですが・・・どうしても操作の手間が増えるので、できるならPCOT内で全て完結させたいと思い、頑張りました。
というわけで、久々の私信です。
>>synctam様
見ているかどうか分かりませんが、synctam様の過去の記事「synctamの雑談日記: ゲーム画面翻訳ツール作成中・・・その１」で触れられていた「ウィンドウサイズを変更された場合は翻訳できない」とありますが、アフィン変換を使用すれば、その問題は解決できそうです。
イメージ的には変更前の画面サイズを設定ファイルなどで覚えておき、現在の画面サイズ取得時に、元の画面と現在の画面の差異(比率)を計算し、キャプチャー画面の比率をそれに倣って変更、アフィン変換によって、元の画像サイズに対して、倍率変更を行い、設定された選択範囲のオフセット座標を求めれば行けそうな気がします。
未検証なので分かりませんが、少なくてもオフセット描画を独自実装(白目)するよりは簡単な気がします。
ただ、PCOTの方は・・・流石にそんなに頻繁に画面サイズを変えたりしないだろうという前提で作っているので、今から対応させようとすると大改修が必要になるため、対応予定はありません・・・。
以上、ご参考になれば幸いです。
あと、今更ですがPCOTをTwitterで広めてくださってありがとうございます。
PCOTを更新しました。
今回の更新内容は一つだけです。
ショートカットキーでタイトル設定されていない数を入力した場合の動作ですが
例）３つタイトルが設定されている状態で、「ベースキー＋4」と押した場合
修正前：何も起こらない
修正後：フリー選択が動作
という形に修正しました。
この修正は完全に自分の為の修正です。
というのも、「Eschalon: Book I」でクエストジャーナルをフリー選択する際にゲーム側では何かキーが押されたらジャーナルを閉じるという挙動らしく、前まで(ベースキー＋0)の時は大丈夫だったんですが、前の修正で「ベースキー＋F」にしたところ、フリー選択をしようとするとキャプチャー画面が表示される前にジャーナルが閉じてしまうという事態になってしまいました・・・。
固定翻訳の１～９のスロットを全て使い切ることはあまりなさそうだし、空スロットを遊ばせておくのも何だしなーと思って、今回の修正になりました。
当然空きスロットを全て消費した場合は、通常通り固定翻訳として動作するので問題ないと思います。
あと、前回の修正時に書き忘れましたが「Eschalon: Book I」で、ロードを行う際に「ESCでキャンセル」しようとしたところ、ESCが反応しないバグがあったのでそれを修正しました。
さて、何故今回一つしかないチョロい修正をアップしたかというと・・・
今度一つ機能追加を行おうと思っているので、次回のアップ前にまっさらな状態にしておきたかったという理由です。
多分実装できると思いますが、もし技術力が足りなかった場合は立ち消えになるかもしれませんｗ
PCOTを更新しました。
今回は不具合修正のみです。修正項目を以下に列挙します。
余談ですが、今PCOTを作成しようと思った切欠のゲーム「Eschalon: Book I」をPCOTの動作確認がてら遊んでいます。作成し始めた当初はDeepLを知らなかった為、こんなに快適にゲームが出来るとは思いませんでした。
DeepLなくして、PCOTの利便性はあり得ないと今なら思いますｗ
ただ、惜しむらしくはDeepLが高性能過ぎて、OCRの読取を失敗した箇所もそれなりに翻訳してくれちゃって辞書登録や名詞登録の利便性が霞むことですね・・・。PCOT自身の翻訳精度が上がればその辺も解決できるのですが・・・。
誰かこれを見ている方で、無料で(文字数制限があったとしても)無制限に使えてそれなりに翻訳精度の高いAPIがあるならご教示頂けましたら幸いです。尚、DeepLに匹敵する翻訳精度なら考えますが、ユーザー各々でAPIキーを取得するようなタイプは原則採用したくありません。(導入する敷居が高くなるので)
ちなみに、今はPCOT自身の翻訳には「GoogleTranslateFreeAPI」というものを使用しています。
というわけで、何か情報があればお気軽にコメントください。
PCOTを更新しました。
更新項目は以下の通りです。
翻訳ボタンのショートカットについてですが、フリー選択で翻訳箇所を指定した場合、直前に指定した箇所を覚えているため、翻訳ボタンをショートカットで起動できないと不便だと思い、追加しました。というか、不便でした・・・。
【注意事項】
今回の更新により「ベースキー」＋「0」は「フリー選択」ではなく、「翻訳ボタン」に置き換わりました！
既にショートカット機能をご利用中の方は、お手数ですが「プログラム一覧画面」＞「システム設定」＞「ショートカット設定」から「リセット」ボタンを押して初期化した後にショートカットキーを振りなおしてください。
尚、「フリー選択」は「ベースキー」＋「F」になります。
PCOTを更新しました！最新版をDLしてご利用ください。
更新項目を以下に列挙します。
【ショートカットについて】
ショートカットはシステム設定画面の「ショートカット使用」をチェックすることにより、有効化されます。
※ショートカットが有効中の場合、簡易コマンド画面は使用できません。
「ショートカット設定」ボタンを押すと、ショートカット設定画面が開きます。
「CTRL」「SHIFT」「ALT」「WIN」と「数字キー」で任意の組み合わせを設定してください。
※「リセット」ボタンを押すと初期状態にリセットされます。初期状態は「CTRL」＋「0～9」の組み合わせです。
※「CTRL」「SHIFT」「ALT」「WIN」のいずれかのベースキーの入力は必須です。
最後に
結局ショートカットを実装しちゃいました・・・。こんなことなら簡易コマンド画面なんて作らずに最初からショートカットを実装するべきでしたね・・・。実装しなかった理由については、職業病だと思って忘れることにします・・・。簡易コマンド画面はあれはあれで便利なので残したままにしておきます。(すげぇ頑張ったし)
以下、私信です。
ものろぐ様
ご要望通り(？)ショートカットを実装したので、もし宜しければPCOTの紹介記事を更新して頂けるとありがたいです！
PCOTを修正しました。(小声)
タイトルを新規追加しようとすると、エラーが出まくるバグを修正しました。最新版をDLしてご利用ください。
PCOTを更新しました。(β版)
今回の更新はショートカットのお披露目・・・なんですが、実を言うとまだ完成していません。
予想に反して実装が難しかったので、まだショートカットキーの設定はできません。一応技術的な難所は越えたのでベータ版ということで公開します。
何度も念を押しますが、ご使用は自己責任でお願いします。
それでは早速、使用方法と注意点について説明します。
【概要】
注意点
使用した感想など、要望も含めて是非こちらでコメントください。作者の励みになります。
告知：ショートカットキーを実装します！
この度、ショートカットキーを実装することにしました。理由として、NOFA様やものろぐ様や他の方からショートカットキーの要望がそれなりにあったので。使用は完全に自己責任ということでお願いします。
以下に概要を記します。
【概要】
グローバルフックでキー入力を監視し、設定したキーが押された場合に、対象の翻訳を行う。
有効なショートカット：
・固定翻訳の１～９
・フリー選択
ショートカットキーの種類
「CTRL(任意) + SHIFT(任意) + ALT(任意) + WIN(任意)」 + 0～9(固定)という形になります。
「」カッコ内を仮にベースキーと呼びます。
固定値の0～9については「1～9」が固定翻訳のコンボボックスの順番(※)と紐づきます。
固定値の「0」がフリー選択に紐づきます。
(※)固定翻訳を10個以上増やした場合は10番目以降はショートカット対象外とします。
【注意】
これから組み始めるので実装にどれくらいかかるか分かりませんが、乞うご期待！
というか、こうして告知して自分を追い込まないとモチベーションが保てないのです・・・。
以下、私信です。
ものろぐ様
ブログでPCOTを紹介してくださってありがとうございました！
とても嬉しくて該当記事にコメントしようとしたのですが、謎の禁止ワードに阻まれて投稿できなかったのでこちらでお礼を言わせてもらいます！
PCOTを更新しました！最新版をDLしてご利用ください。
更新項目を以下に列挙します。
タイトル名を編集した場合は再起動後に適用されます。
※この修正により「原文の小文字化」は不要になった感はありますが、OCRが読みそこなった場合に、大文字と小文字が不自然に乱立する場合があるので、そのまま残しています。
簡易コマンド画面の上で「CTRL＋マウスホイール回転」で簡易コマンド画面の不透明度を増減させることができます。
※画像にある通り、現在の不透明度が1%～100%の間で表示されます。
PCOTを更新しました。
今回はバグ修正のみです。
普通に使っていれば気づかないバグが大半だったので、細かい修正項目には触れません。
一応一つだけ、重要そうなのを以下に記します。
タイトル作成画面で既に作成済みのタイトルをリネームしようとするとタイトルを更新できないバグがありました。
今回の修正で直っている筈なので、最新バージョンに差し替えてご利用ください。
とりあえず大体安定してきたと思うので、そろそろ本格的に説明書を作ろうかどうか悩んでます・・・。
利用人口も全然把握できてないので、詳細に作っても意味ないかもとも思っていますが・・・。
画像付きでちゃんと説明書を作って欲しいよーって方がいたらコメントをお願いします。
>遅くなりました！やっと納得いく仕様に漕ぎつけたので、ご要望の通りに修正しました。
実装ありがとうございます！閉じるクセを身につけるといったものの、やはり閉じ忘れが多かったのでさらに手軽に翻訳できるようになりました。動作の方も問題ありませんでした。
PCOTを更新しました！最新版をDLしてご利用ください。
更新項目を以下に列挙します。
以下私信です。
>>NOFA様
遅くなりました！やっと納得いく仕様に漕ぎつけたので、ご要望の通りに修正しました。
一応、各種アプリのアクティブ時の振る舞いを以下に列挙します。
以上になります。
一応動作確認をしていますが、もし何かおかしな挙動をした場合はお手数ですがご報告願います。
お返事ありがとうございます。
なるほど、CallNextHookEx()関数を呼べばフックが継続する感じなんでしょうかね？(というか、基本呼べって書いてありますね)同じショートカットなら、処理の順番が変わるだけで両方そのショートカットの処理を行う感じでしょうか。でも、外部アプリの画面状態を強制的に変更するPCOTとは相性が悪い気もします・・・。
んー、でもやっぱり怖いですねｗ
注意喚起するにしても、皆が一様にReadmeを読んでくれるわけでもないですし・・・。
仕事柄、目的としたもの以外の外部アプリを巻き込む処理の実装には消極的(下手すると賠償問題に発展するので)なんですよね・・・。過剰反応していると思われたらすみません。
>>「Eschalon: Book I」のキャラクター作成画面ではマウスオーバーした場所の説明が説明欄に表示される仕様のため、翻訳ボタンが押せなかったからです。
一応、今の簡易コマンド画面でもかなり不格好ですが、簡易コマンド画面を対象項目に重ねて翻訳ボタンを押せば、説明欄の翻訳を行ってくれるので、一旦様子を見させてください。
あまり使ってくれてる人もいない気がしますが、これから先「ショートカットがどうしても欲しい！」という要望がたくさん挙がってきたら、慎重に対応します。
相談に乗って頂き、ありがとうございました。
・ショートカットについて
グローバルフックを使用した場合、CallNextHookEx()関数のコールを忘れなければ他のアプリに悪影響を及ぼす可能性を減らすことができると思います。ただ、利用者に対して正しい使い方と注意事項を説明する必要がありますね。
ちなみに、以前テストしていたバージョンでは、Ctrl+0 ～ 5 をそれぞれの領域の翻訳用に割り当てていました。
「synctamの雑談日記: ゲーム画面翻訳ツール作成中・・・その１」
https://synctamdiary.blogspot.com/2018/12/hdd-eschalon-book-eschalon-book-ocr-ocr.html
（各ボタンのキャプションに数字が書いてありますがこの番号がショートカットキーの番号です）
当時はまだキーは固定でしたが、変えたい時は設定ファイルを変更してテストしていました。グローバルフックを使用した理由は、「Eschalon: Book I」のキャラクター作成画面ではマウスオーバーした場所の説明が説明欄に表示される仕様のため、翻訳ボタンが押せなかったからです。
・DeepLについて
>>失礼しました、DeepLについては返信いたしました。
返信確認しました。こちらでDeepLについて今の所感を書きます。
まず更新内容の書き方が分かりにくかったですね、こちらこそすみませんでした。
DeepLのプロセス自動起動についてですが、前にPCOTとは全く関係ないアプリでレジストリからインストールディレクトリを検索する処理を書いたことがあるので、レジストリに名前が載ってさえいれば流用すればいけそうかなと思ったものの、翻訳が終わった後の後始末(プロセスを終了するか否か)をどうするかとか、あとはDeepLの設定を見る限り、無効時間を設定したり、ショートカットを拾って欲しくないプログラムを例外設定していく設計思想に倣うならば、基本常駐させるべきものという認識です。
・GCat4Xについて
長期ベースのプロジェクトということですね。
ならば即興で動くPCOTを作ったのは無駄ではなかったということですね。少し報われた気がします。
改めて、いつか公開されることを楽しみにしています。
あと別件になりますが、PCOTの要望にもGCat4Xの構想にもあったショートカットについてsynctam様の意見を伺いたいです。
私は簡易コマンド画面によってショートカットの実装を避けましたが、理由は前に書いた通りWindowsを含む、他アプリとのバッティングが怖かったからです。
極端な例を挙げると「CTRL+S」とキーコンフィグに設定してしまったら、他アプリで保存ができないみたいな弊害が起きたら困ると思ったからです。
なので決め打ちなら・・・とも思ったのですが、フリー選択はともかく、PCOTの機能の売りはsynctam様もご存じの通り固定翻訳です。別にフリー選択だけでいいならプロセスに接続するメリットはあまりありません。(最小化されていても勝手にアクティブになってくれる位のメリットはありますが・・・)
どうせショートカットを入れるなら固定翻訳もショートカットで機能してくれないと片手落ちに見えるのです。
その場合、固定翻訳はタイトル(領域)ごとに動的に変わってきます。そうすると、ショートカットの数も必然的に増減しますよね？(ベースキー＊設定領域数)という感じで。
その辺をユーザーに設定させて後はバッティングしようがどうなろうが知らんと言ってしまうとあまりに無責任なので、PCOTは簡易コマンド画面の実装に落ち着いたわけですが、何か腹案はありますか？
もし良さそうな案があれば簡易コマンド画面を残すかどうかはともかく、今からでもショートカットの実装を検討します。
長くなってしまいましたが、ご確認ください。
失礼しました、DeepLについては返信いたしました。
GCat4Xは、まだ仕様を確認している段階で動くものは何もありません。時間のある時に実現性の確認をしている状態で、まだ実現の目処は立っていません。ちょうどそんな時に、ぬるっぽさんから連絡があったので、情報を公開したという訳です。また、Github は、仕様をまとめるのに便利だったので使っておりました。という事で、現状では公開できるようなソースはありません。
すいません、勘違いしていました。
DeepLを全く起動せず、テストしていました。DeepLは起動しておかないといけないんですね。それであれば、問題解決です。
大変失礼しました。
・余白について
ありがとうございます。
実を言うと画像の二値化を行った際に一度OpenCvSharpというのを使ってました。Bitmapで大津の二値化手法を試そうとしてネットで情報を得ようとしても、有料の記事だったり、数式や概念の様なもので難しすぎて挫折しました。
OpenCvSharpはBitmapとMat形式の相互変換で多少躓きはしたものの、処理自体は確かに簡単でしたね。
また時間のある時に手を出してみようと思います。
・「Issues · synctam/GCat4X」について
今もこのプロジェクトは継続中なのでしょうか？
私がこのツールを公開したからこそ、synctam様と直接交流できて喜ばしい反面「素直に待っておけば良かった！」という気持ちもあり、複雑な気分ですｗ
もしとん挫したのでなければ、日の目を見ることを楽しみにしています。
参考資料が必要であれば、連絡さえ頂ければPCOTのソースをソリューションごと渡してもいいです。
もちろん、その際の著作権は放棄します。
あ、でもアイコンだけはネットのフリー素材なので、流用しない方がいいと思います。
・Capture2Textについて
ソース公開されてたんですね、知りませんでした・・・。
OCRは仕事で有料のものを一度触ったきりで、完全に門外漢でした。今更ながら無知を晒して恥ずかしい限りです。
最後に、前のレスにも書きましたがDeepLが起動しない挙動について、返答頂いてもいいですか？
ブラックリスト上手く行きましたか、良かったですね。
・余白について
確かに難し問題ですね、仰るとおり一番外側の色で拡張するのが良いかもです。
ちなみに、画像処理は OpenCV が処理速度も早く楽に画像処理ができて便利です。時間のある時に試してみるのも良いと思います。
・無視した方がいい文字について
今のところ、思い当たる文字はありません。
以前検討していた情報がここ↓にあります。
「Issues · synctam/GCat4X」
https://github.com/synctam/GCat4X/issues?q=
あまり参考になる部分はないと思いますが、リンクを張っておきます。
あとＯＣＲの精度については、Capture2Text のソース（OcrEngine.cpp や OcrEngine.h）を参考にしてはいかがでしょうか。
「GSam/Capture2Text: Linux CLI port of Capture2Text v4.5.1」
https://github.com/GSam/Capture2Text
そんなぁ・・・orz
>>予め、DeepL を起動しておくと意図したとおりに翻訳してくれるのですが。
というのは、タスクトレイにある状態ではなくて、DeepLがアクティブじゃないか最小化されているだけという状態だと上手く翻訳してくれるという認識で合っていますか？
もし、DeepLがプロセスにない状態からだと無理というのなら、今の仕様です。
その場合もし「DeepLがプロセスにない場合は起動するようにしてほしい」という要望があれば、なんとかやってみますが・・・できるかどうかは確約しかねます。
忙しい中お返事くださりありがとうございます。
・ホワイトリストについて
リンクの通りで良さそうとのことなので、試しにホワイトリストではなくブラックリストの方に「|」を指定してみました。
結果としてちゃんと「|」を無視してくれるようですね。
(※一番右のは紛らわしいですがIビームです)
前にちゃんと動作しなかったのは、画像側の問題だったかもしれません。
他に何かOCRの段階で無視した方がいい文字などありましたら、是非助言をお願いします。
・余白について
余白についてですが、画像の二値化を行わないので、決め打ちで白や黒を入れるのは難しいですね・・・。やれるとしたら画像の一番外側を拡張して引き伸ばす感じになるんでしょうかね？
・プログラムについて
ことプログラムの分野においては、素人玄人問わず、出来る人はすごいという認識です。
趣味であそこまでやれるのはすごいですね、素直に尊敬します。
フィードバックはモチベーション維持に直結しますので、どしどしください。また、こちらも質問させてください。
遅くなりました、今ダウンロードして起動確認をしてみました。
どうも、DeepL が起動しないようです。
原文右クリック時も起動しません。
予め、DeepL を起動しておくと意図したとおりに翻訳してくれるのですが。
返事が遅くなってすいません。
Terrariaのアップデートが来ましてちょっとバタバタしてました。
・ホワイトリストについて
指定方法はリンクの通りでOKだと思います。自分の場合は、漏れに気が付きやすいように ASCII コード順に並べただけです。「Ascii」と「Windows1252」にわかれているのは、試行錯誤していたときの残骸です。ご指摘の通り ASCII のみで良いと思います。
・余白について
自分の場合は、黒地に白い文字に場合は、反転させて白地に黒い文字に変換していました。
特に意味はないのですが、条件を統一したほうが、認識精度向上のテストケースが減るかな？と考えたためです。
それとプログラムは趣味で覚えたものですので、詳しいことはわかっていません。画像処理やＯＣＲも以前作成していた時にネットで調べたものです。ネットがあれば素人でも色々なことにチャレンジできる時代になったので、とてもありがたいです。
後ほど、最新版を使ってみたいと思います、ありがとうございました。
PCOTを更新しました。最新版をDLしてご利用ください。
私信です。
・synctam様
大分落ち着いた(？)のでOCRの読取精度の向上に注力したいと思うのですが、いくつか質問させてください。
・ホワイトリストについて
前にホワイトリストを取得するサンプルを頂いたと思うのですが、以前私がやったホワイトリストの設定方法は対象の文字を直接指定する方法でした。
参考URL:<http://notame.hatenablog.com/entry/2019/02/03/234131>
synctam様のサンプルにある文字コードを指定する方法と何か違うのでしょうか？
もし3.X系と4.X系のバージョン違いに起因する問題だったらすみません。
それとサンプルには文字種に「Ascii」と「Windows1252」とで分かれていますが、分ける意図はあるのでしょうか？サンプルソースから読み取った感じだと基本Asciiで問題ないという認識で合っていますか？
・余白について
余白をつけると読取精度が上がるという情報、とても為になりました。ありがとうございます。
そしてまたしても質問で恐縮ですが、数ピクセルの余白を付ける際、黒字に白の文字などでも文字通り白の余白を付けた場合、読取精度は上がるのでしょうか？もし試していたら結果を教えて頂きたいです。
最後にこの分野では知識が浅いため、恥も外聞もなく質問しています。もしお気を悪くされていたら申し訳ありません。
ご理解が早くて助かります！そうなんですよね、アプリごとで理想の挙動が変わるのが難しいです。
一旦はご不便かと思いますが、今の仕様のまま継続してご使用頂きたいです。
ただ、NOFA様のおっしゃりたいことも分かるので、「これ！」という方法が見つかったら対応するかもしれません。
また何かありましたらお気軽にお問合せください。
お返事ありがとうございます！
>そうした場合に、対象ゲーム画面を移動させた瞬間に簡易コマンドモードに移行してしまうと、画面を二つ並べて見比べるのに手間がかかってしまいます。
自分の場合OCRのキャプチャの一部に間違いがあった時などは、基本PCOTの方をアクティブにしたまま修正しているのでそういった問題は起こらないのですが、たしかにそういった部分はゲームによって変わってきますし、動かす必要のあるゲームの場合は機能が邪魔になってしまうかもしれませんね。
>ご存じかも知れませんが、翻訳表示画面は右上の「×」ボタンだけでなく、「ESC」キーで閉じることも可能です。
一度閉じ忘れてゲーム画面の方をアクティブにしてしまうと、ESCでも簡易モードにはならなくなってしまうのでそこを手間に感じてしまいました。元々自分の閉じ忘れぐせ？が発端の要望なので、閉じるくせを身につけるようにしたいと思います！
色々と考えてみたのですが、接続先のゲームのフォントの関係でOCRの読取精度があまりよくない場合、辞書登録で読みそこなった単語などを補完するような仕組みになっていますが、その際にゲームの文章でどこの単語を読み間違えたのかを翻訳表示画面と見比べて辞書登録を行うケースもあると思います。
そうした場合に、対象ゲーム画面を移動させた瞬間に簡易コマンドモードに移行してしまうと、画面を二つ並べて見比べるのに手間がかかってしまいます。
・文字だけだと分かりにくいかも知れないので、参考画像を用意しました。
このような場合、どちらかがどちらかに不便を押し付ける形になってしまいます。
ご存じかも知れませんが、翻訳表示画面は右上の「×」ボタンだけでなく、「ESC」キーで閉じることも可能です。
両方を活かす方策があれば言うことなしですが、幸いDeepLを閉じるのも「ESC」キーで閉じられますので簡易コマンドモードに移行するのは「ESC」キーを2回押すだけと思えばそこまで手間ではないと思いますが、如何でしょうか？
更新ありがとうございます！文章がさらに見やすくなりました。原文に指定するフォントの方も気をつけたいと思います。
>このご要望の件についてですが、正直いうと難しいです！ｗ
>というのも、「翻訳表示画面がアクティブでなくなった時に簡易コマンドモードへ移行する」のであれば割とすぐに実装できそうなのですが、
翻訳を読んだあとの閉じるボタンを押す手間が減ってくれればいいなと思っていたので、もし前者の方が楽に実装できるなら自分はそちらでも大丈夫ですが、たしかに初めて使う方はちょっと混乱しちゃうかもしれませんね。
>設定がたくさん出来ると一見自由度が高くて汎用性がありそうですが、設定の手間もどんどん増えていくので、オプション項目を増やすのは消極的です。
それはたしかに…。自分もオプションが多すぎるツールは、どれがより重要・便利になる項目か逆にわからず結局デフォルトのままで使っちゃたりすることがあります。
前者・後者どちらの方法でもオプションなしの無条件で動作するよう実装するなら、Readmeに「ツールが画面から消えてしまった・小さくなってしまった」とかの項目を作って「～の場合自動的に簡易コマンドモードに移行するようになっています」という解説を付記しておくといいかもしれません。
ご報告ありがとうございます！
>>ボタンの表示バグが直ってること確認できました。
よかったです！この更新で一番意義があったかもしれませんｗ
>>フォント指定でテキストもすごく見やすくなりました。
原文に指定するフォントですが、見てお気づきの通り、(見た目上)大文字と小文字の区別がないフォントや、暗号さながらの記号ばかりのフォントがあるのでご注意ください。
全て大文字で表示されるフォントでも内部的には大文字小文字が分かれています。辞書登録には向かないので使用を控えてください。
>>簡易コマンドも、半透明度を増やすことで思った以上にゲーム画面上にあっても気にならずに使いやすかったです。
そういって頂けてとても嬉しいです！頑張った甲斐がありました。ショートカットには及ばないものの、代替機能としての利用は期待できそうですか？
>>テキストボックスの枠と文章の左端の間にもう数ピクセルの隙間があるともっと見やすくなるかなと感じました。
修正しました。最新版をDLして確認してみてください。
最後に・・・
>>使ってみての細かい要望としては、翻訳文を読んだあと閉じるボタンを忘れてゲーム画面に戻ってしまうことが結構あったので、選択したプロセスをアクティブにした場合は自動的に簡易コマンドモードにするオプションがあると嬉しいかなと思いました。
このご要望の件についてですが、正直いうと難しいです！ｗ
というのも、「翻訳表示画面がアクティブでなくなった時に簡易コマンドモードへ移行する」のであれば割とすぐに実装できそうなのですが、「特定のプロセスがアクティブになった時に簡易コマンドモードへ移行する」だと、接続先のプロセスが現在アクティブかどうかを常に監視する必要があるのです。
前者と後者の明確な違いは、後者がゲームをアクティブにした時にだけ簡易コマンドモードに移行するのに対し、前者は試してませんが、恐らくデスクトップをクリックしても簡易コマンドモードに移行してしまいます。使う人によっては「あれっ消えた！？」となりかねないので実装に慎重にならざるを得ません。
ただ、後者が実現できるならその方がいいですよね。その場合はオプション設定ではなく、簡易コマンド画面を使用する場合に無条件でそのように動作するようにしたいのですがいかがでしょうか？
設定がたくさん出来ると一見自由度が高くて汎用性がありそうですが、設定の手間もどんどん増えていくので、オプション項目を増やすのは消極的です。
いずれにせよ、まず実現できるかどうか調査しますのでしばらく時間をください。
WinAPIを叩けば多分なんとか出来ると思うのですが、慣れてないのです・・・。
長くなりましたが、ご確認願います。
更新お疲れ様です！
ボタンの表示バグが直ってること確認できました。
フォント指定でテキストもすごく見やすくなりました。簡易コマンドも、半透明度を増やすことで思った以上にゲーム画面上にあっても気にならずに使いやすかったです。
使ってみての細かい要望としては、翻訳文を読んだあと閉じるボタンを忘れてゲーム画面に戻ってしまうことが結構あったので、選択したプロセスをアクティブにした場合は自動的に簡易コマンドモードにするオプションがあると嬉しいかなと思いました。
あとテキストボックスの枠と文章の左端の間にもう数ピクセルの隙間があるともっと見やすくなるかなと感じました。
修正してみました。確認をお願いします。
早速デグレましたね・・・すみません・・・orz
問題を切り分けるため、いくつか確認して頂きたいことがあります。
どちらにせよ一度見てみますね。ご報告ありがとうございました。
要望を取り入れていただき、ありがとうございます。
・[プロセス名].cfgファイルについて
旧バージョンのフォルダーに上書きコピーし、普通に起動したところ、問題なく起動できました。
意図したとおりに動作しております。
・DeepLの起動について
システム設定で「DeepLと連携」と「自動的にDeepLを起動」がチェックされているにも関わらず、翻訳時に DeepL が自動起動されません。
何か確認すべきことがありますか？
私信です。
>>synctam様
[プロセス名].cfgファイルですが、PCOT起動直後に設定ファイルの不整合を自動で修正するようにしてみたので、まずは一度普通に起動して頂いてもいいですか？もしそれでおかしなことになったらお手数ですがご報告をお願いします。
お知らせ：翻訳支援ツールPCOTを更新しました！
更新項目を以下に列挙します。
注意事項
今回の更新により、画面を右上の「×」ボタンで閉じずにタスクトレイに常駐します。
PCOTを終了させる場合は翻訳表示画面右下の「PCOTを終了」ボタンを押して終了させるか、タスクトレイのアイコンを右クリックして「PCOTを終了」を選択してください。
今回追加された簡易コマンド画面について
翻訳表示画面を最小化したり、「ESC」キーや右上の「×」ボタンで非表示にした場合、「簡易コマンド画面を使用」が有効になっていると、簡易コマンド画面が表示されます。
これは、翻訳に必要最低限のコマンドをまとめた機能になっています。対象がマウスカーソルから離れたら翻訳できないという場合などに利用してください。透明度を高くしておくとゲームの邪魔になりにくいです。
また、簡易コマンド画面は「ESC」キーで非表示にできます。簡易コマンド画面が非表示になった場合は翻訳表示画面が表示される仕組みです。今回の更新の目玉は間違いなくこの機能ですが、割と色々無茶したため、盛大にバグっている可能性があります。もしおかしな挙動をした場合はご報告お願いします。
システム設定画面について
今回の更新のもう一つの新機能です。システムの共通設定を行います。プログラム一覧画面から起動します。
こちらから原文、訳文それぞれのフォントとフォントサイズを指定できます。TOP画像にある通り、かなり色んな種類のフォントが指定できますが、フォントデータを読み込むのに多少画面表示に時間がかかる場合があります。ご注意ください。
DeepLとの連携についてもこちらで設定を行いますが、翻訳表示画面でも設定可能です。
前バージョンではDeepLと連携するかしないかの二択でしたが、今回翻訳後にDeepLを自動で起動するかどうかのチェックも追加されています。
これは何のためかと言うと、ゲーム(プロセス)によってはOCRの精度が悪い場合もあり、その状態で翻訳時にDeepLが問答無用で起動してしまうとDeepLを閉じる手間があるので、原文を辞書登録などで編集後に右クリックでDeepLを起動したい場合などに利用します。
最後は上記の説明にある今回追加した簡易コマンド画面の使用可否や簡易コマンド画面の透明度を設定することができます。
【注意】不透明度を最低値の「1」に設定すると、簡易コマンド画面が見えなくなります！
かなり色々と更新したので、恐らく不具合があると思います。その場合はこの掲示板にてご連絡ください。
以上です。あー疲れた。
・ブラック/ホワイトリストについて
確かに自分で貼ったリンク先の最後に「It has been fixed !」と書いてありますね、見落としてました。
とりあえず、仕様がまとまったことなので一旦要望は締め切ります。
・ブラック/ホワイトリストについて
2019/6にリリースされた v4.1.0 でサポートされたはずなのですが・・・
「Release 4.1.0 Release · tesseract-ocr/tesseract」
https://github.com/tesseract-ocr/tesseract/releases/tag/4.1.0
しかし、まだ上手く機能しているのか判断できませんね。しばらく様子を見た方が良さそうですね。
・「原文を小文字化」について
そうですね、その仕様であれば今のままで良いと思います。
・「ダブルコーテーションを除去する」について
その仕様で良いと感じました。