英語でアニメを見よう [無断転載禁止]©2ch.net
アニメの英語音声をテキスト化するサイト作ったんだけど参加したい人いるか。全部人力で。 幼女戦記epi01より、後半
No room to negotiate, huh?
交渉の余地無しか
oxygen deprivation
酸欠
deprivation
剥奪
sleep deprivation 拷問での睡眠剥奪、睡眠不足、睡眠遮断
The enemy shell struck their pillbox.
軍事用語で(コンクリート製の)トーチカ、機関銃座
ちなみにトーチカ (точка) はロシア語で「点」だそう
It's self-evident.
自明だな
このアニメ、評判が悪いのはコミック版からのキャラデザイン変更が理由みたい
美少女→ムーミン顔、BOOK・OFFで見たらナルホド 、納得
私はミリオタ成分入っているので割と好き
全12話、優先して見よう https://github.com/chidiwilliams/buzz
このwhisper組み込んだ自動字幕書き起こしソフトがかなり使える
largeモデルだと99%正確だし、固有名詞すら正確に聞きとってくれる
変換にそれなりに時間はかかるが寝てる間にでも動かしておけばよろし >>520
単純に学習の繰り返しによる精度の強化&音声認識の辞書に固有名詞が組み込まれてる
Whisperの最小のtinyモデル35MBに対してlargeモデルは3GBもあるからそこに入ってるテキストの量は膨大
日本人の名前のスペルも正しいスペルで書きとってくれる
また、固有名詞も既存の名詞の組み合わせという場合が多いからAIはそういうのにも強い
その作品特有の固有名詞だと辞書にないので聞こえたままの音で書いたり、聞き間違いしたりするけどね
例えばGGOのレン(LLENN)はLenと書き取られる
実際にない名前でもKiritoとかは有名だからか、正確だけど 自分の登録してない(知らない)単語だけsrtファイルから抜き出してくれるソフトとかある? ChatGPTに次のように依頼すれば,Pythonのコードを出力してくれます。
「英文テキストファイル(.srt)から単語リストAにはない単語を抜き出す
プログラムを教えてください。
ただし,be動詞,have動詞,前置詞,疑問詞,人称代名詞,指示代名詞や
3文字以下の語は除外してください。」 アニメ見ながらいちいち分からない単語をメモするより今までに学習できてない単語だけ.srtから抽出して事前にAnkiにでも入れて覚えたほうが楽だった
ChatGPTの指示教えてくれた人に感謝 偶然Death NoteのCC見つけた。
https://subdl.com/sc/death-note-desu-nto--first-season/english
Death note 2006 english dub perfect sync ep 1 to 37がCCで、タイムコードはBlu-ray。
最後まで見たけど、特に問題はなかった。 リコリスなど好きなアニメに限ってCC字幕がない。。。
ぼっちざろっくに限ってはdubもまだ出てない https://github.com/jianfch/stable-ts
なければこれ使って作ればいい
Largeモデル使えばほとんど正確だし
Whisper系の音声認識で一番使えるのはいまのところこのソフトかな >>529
>>519とは別物かね。smallでも9割くらい正確でかなりすごいな やっぱそれなりのGPU積んでないとLargeは無理? >>530
使ってるのは同じWhisperだけど>>519のはハルシネーションが発生したり字幕の時間にズレが出ることがある、また日本語の劇中歌が入るシーンでセリフを書取ってくれなかったりも
純正のWhisperの不具合っぽいので他のWhisper使ってるソフト使っても同じことが起きる
>>529のはそれをある程度改善してあるので他のと比べても格段に使いやすい、歌とセリフが混在しててもセリフを優先してくれる
>>530
以下のように、.pyファイルの最初の読み込みの部分の行でdevice='cpu'を指定すればCPUで動かしてくれるのでグラボなくてもlargeを指定しての実行OK
ただGPU使用時よりも時間はかかる
import stable_whisper
model = stable_whisper.load_model('large-v2',device='cpu')
results = model.transcribe('01.mp4', language='en')
stable_whisper.result_to_srt_vtt(results, '01.srt', word_level=False)
results = model.transcribe('02.mp4', language='en')
stable_whisper.result_to_srt_vtt(results, '02.srt', word_level=False)
results = model.transcribe('03.mp4', language='en')
stable_whisper.result_to_srt_vtt(results, '03.srt', word_level=False) おお、詳しくありがとう!
グラボ買い替えも検討しつつ、CPU優先試してみるよ >>532 サンクス よくこんないいソフト見つけれるなあ
PCのスペック足りない人はネカフェのPC使うのもいいかもね CPU指定にしとけばスペックが足りないということはないと思うけどね
GPU指定だと、グラボGTX1050Tiでもlargeはダメだったが、CPU指定だとVirtualBoxで起動させたLinux上でもLargeでトランスクライブ可能だった >>519のは.exeだからなんとか起動できたが、>>529はダウンロードの仕方すら分からん。
zipだけダウンロードしてみたが拡張子が.pyでもうさっぱり。Pythonの使い方とか分からんし困った。 >>536
それ多分、直ダウンロードは普通のユーザー向けじゃない
Setupの
pip install -U stable-ts
でダウンロード(andインストール)
詳しくはpipで調べて >>536
ffmpegは入れてると思うから、ここから説明するよ
ffmpegも入れてない場合、手順をググってpath通すまでやってから以下の手順
初心者にもわかるように書いたつもりだから、少し回りくどいかもしれん
1.まずPythonをインストールしてないならここから落としてインストール
Pythonが既に使えるなら手順6まで飛ばして
https://www.python.org/ftp/python/3.10.5/python-3.10.5-amd64.exe
※インストール時に「Add python.exe to PATH」を必ずチェックする
2.PCを再起動
3.Windowsマークのスタートボタンを右クリックして「ターミナル」または「Windows Powershell」をクリックして起動
4.Pythonインストールできてるかの確認作業、「python」と打ち込んでエンターキーを押す、バージョンが表示されたらインストール成功してる
※できなければ、path追加のチェック忘れだと思うので、1の手順からやり直す、上書きでいけると思うけどそうでなきゃアンインストールしてから
5.一旦ターミナルを閉じてまた開き直す
6.ここからソフトのインストール
「pip install stable-ts」と入力してエンター
いろいろ関連ライブラリがインストールされていくので処理が終わるまで一定時間待つ
再度何か文字をターミナルに打てるようになったら処理が終わってるはず >>536
>>538続き
7.テスト用に適当に数秒くらいの英語の音声ファイルを用意
このサイトで自動音声のを作ってもいい
https://soundoftext.com/
8.ファイル名を今回は「01.mp3」にリネームし、適当なフォルダに配置
9.そのフォルダ内で右クリック→新しいテキストドキュメントを作成→拡張子を.txtから.pyに変更、このファイルの名前を「test.py」とする
10.「test.py」を右クリックしプログラムで開く→メモ帳を選択して開く
11.
以下のコードをコピペ→上書き保存
import stable_whisper
model = stable_whisper.load_model('large-v2',device='cpu')
results = model.transcribe('01.mp3', language='en')
stable_whisper.result_to_srt_vtt(results, '01.srt', word_level=False)
12.音声ファイルおよびtest.pyと同じフォルダ内でshiftキー押しながら右クリック→ターミナル(powershell)で開く
13.ターミナルが開いたら「python test.py」と入力してエンターキー
初回は言語モデルのダウンロードが始まるので一定時間待つ
言語モデルのダウンロードが終わると自動的に文字起こしがスタート
今回は数秒のファイルなので1分以内で終わると思う
30分のアニメだとlargeを使った場合だいたい1時間かかる、下位モデルだと速くなる
14.「01.srt」というファイルができているのでメモ帳で中身を確認、これで終わり 使い方
コードを記述した.pyをターミナルで実行するだけ
動画/音声ファイルと.pyを同じフォルダに配置し、そのフォルダ内でターミナルを開き「python ○○.py」と入力してエンター、すると同フォルダにsrtが生成される
一応以下のこのコードを最適設定にカスタマイズしているので、普通に使うならファイル名と拡張子だけいじればOK
設定に応じて.pyの中身を変えられる
複数ファイル指定する場合.py内を以下のコードのようにすればOK
import stable_whisper
model = stable_whisper.load_model('large-v2',device='cpu')
results = model.transcribe('01.mp4', language='en')
stable_whisper.result_to_srt_vtt(results, '01.srt', word_level=False)
results = model.transcribe('02.mp4', language='en')
stable_whisper.result_to_srt_vtt(results, '02.srt', word_level=False)
results = model.transcribe('03.mp4', language='en')
stable_whisper.result_to_srt_vtt(results, '03.srt', word_level=False) パラメータの設定、特にこだわりなければいじらなくてもOK
1.言語モデル指定
large-v2の部分を以下から選んで書き換え
タイニー
タイニー.en
base
base.en
small
small.en
medium
medium.en
large-v2
最初のワードは5chのNGワード指定みたいなので、カタカナを英語に読み替えて
下位のモデルほど速いが正確性は落ち、上位のモデルほど時間がかかるが精度は正確、.enとつくのは英語特化モデル、例えばmedium.enは英語の文字起こし性能はmedium以上large-v2以下
2.CPU、GPU実行指定
このコードではcpuオプションdevice='cpu'を追加してあるのでCPUで動かせる、CPUの要求は特に高くない
,device='cpu'を消せばGPUで実行されるが、グラボの要求は高めのため推奨しない、GPU実行のほうが文字起こしのスピードは速い、また下位のモデルで実行する場合グラボの要求はそれに応じて落ちる
3.言語指定
language='en'の部分
en=英語、ja=日本語、zh=中国語、ko=韓国語
これを消すと自動検出になるが、日本語のオープニングが入るタイミングによっては誤認識されるため、言語指定はしておくのが推奨
4.word_levelオプション
word_level=Falseの部分
word_level=Trueにするとカラオケみたいに発音されてる単語の文字色が変化する
これをオンにすると、srtファイルがすごく読みづらくなるのでsrtファイルを台詞のスクリプトとしても使いたい場合はFalseのままにしておくのを推奨 >>538
ここまで詳しく...感謝です。ネットでPythonの使い方調べても全く分からなくて頭パンクしそうだったから助かった...そもそもpathすら設定できていなかった。
手順通りやったらちゃんとダウンロードできて、テスト音声の実験も成功した。メモリ8GBのパソコンでもlargeモデル使えるのね。
さっそくリコリスの音声を読み込ませてみたが出来上がるのが楽しみだ 自動販売機に転生するやつ英語初心者の俺でも半分くらい聞き取れるからおすすめ 自動書き起こし字幕までできるようになってるのか
やばいねー未来だね >>540詳しく書いてくれてありがとうございます。
使い方
コードを記述した.pyをターミナルで実行するだけ
動画/音声ファイルと.pyを同じフォルダに配置し、そのフォルダ内でターミナルを開き「python ○○.py」と入力してエンター、すると同フォルダにsrtが生成される
実行してみたら走り出すんだけど、最後に
FileNotFoundError: [WinError 2] 指定されたファイルが見つかりません。
ってメッセージ出て.srtファイルが作成されません。
何が間違っているのかなあ。 >>545
そのエラーの場合ターミナルをフォルダ内で開いてないか、ターミナルに入力するpyファイルの名前が実際にフォルダ内にあるpyファイルと一致していないかのどちらかだと思う
まずターミナルを開いたときにpyと動画ファイルのあるフォルダ名が表示されてる?
指示通りにやれば「PS C:\Users\」みたいな感じのディレクトリ表記で表示されるはず
されてないなら、
フォルダ内の適当な空白を右クリックしてターミナルで開くを選択(Windows11)
Shiftキーを押しながら右クリックして「PowerShellで開く」を選択(Windows10) あるいは、pyファイルの中身の動画ファイルの拡張子と名前は合っていることを確認した?
名前合っててもmp3 mp4 mkvとか自分の持ってる動画の拡張子に合わせてpyのほうも変えてね >>546
回答ありがとうございます。
もう一度落ち着いてレス読んで、やり直していたらffmpeg等の初期設定が整っていませんでした。。。
あとファイル名に半角スペースも入っていたりとミスが多々見つかりました。
その後プログラムは走り無事srtファイル作成、動画に音声字幕をつけることができました!
と、ここで新たな問題が、、、
字幕は作ってくれたのですが、動画冒頭1分弱の音声から字幕抽出できてないことがたまーに発生してます。
(1クール中2〜3話)。
これは解決できるのでしょうか?m(_ _)m >>548
バグっぽいね
自分も結構なる、特に日本語の曲が流れた後の少しの間
Whisperはタイムコード打つのに無音区間をアテにするからBGMがある音声は本来の力を発揮できなかったりする
とはいえそれ以外は文句なしで、スラングや固有名詞も聞き取れるからな…
今のところ取れる解決方法としては身も蓋もないけど
正確性には劣るけどその部分だけ他のツールで字幕を作って代用するとか
例えばこのCapCutは固有名詞以外は割と聞き取ってくれる&処理が高速
ダウンロードリンク
https://lf16-capcut.faceulv.com/obj/capcutpc-packages-us/installer/capcut_capcutpc_0_1.2.3_installer.exe
CapCut字幕抽出方法
https://m.youtube.com/watch?v=5ls7EGBYaM4
あとは、該当箇所だけ切り抜きして、stable-tsで再度読み込ませてみるのもいいかもしれない、やったことないからできるかわからないけど、日本語の歌の後だったり、相対的に声が小さいところをノイズ扱いして読み込んでないとしたらこの方法でうまくいくはず >>548
ありがとうございます。
ああこれはバグなんですね。少し前のレス見たら同様の現象が書いてました(^_^;)
動画編集で該当箇所を切り出してこれを再度処理してみたら上手くいきました(まだ1話分しか試してないですけど)。
自分はこういうプログラムは触ったこと無いけど詳しく丁寧に説明、ダウンロードリンクを記載してくれた方に感謝してます。
にしてもこれ音声認識ずば抜けて正確ですね。
キャラがボソボソ喋っているセリフでも固有名詞(キャラの名前 or ニックネーム)をちゃんとキャッチしてて驚きました。 >>550のものです。
>>548ではなく>>549さんありがとうございますm(_ _)m このツイートにLycoris Recoil is coming to Adult Swim's Toonami starting January 20, 2024!ってあるんだけどCC字幕手に入る可能性あるかなー?
ttps://x.com/aniplexusa/status/1725657621259018465?s=61&t=_r5JRAWrMH9R8vd9MRir-w Adult Swimで配信されるなら確実にCC字幕付き。
ただし,Adult Swimを視聴するにはHulu.comにLive TV(月額76.99ドル)加入が必要。 >>553
>>553
サンクス
Adult Swimのサイトに書いてあるEXPIRES: に気をつけつつ、全13話溜まるまで待ってから月末に契約して一気にダウンロードすればいいんかな >>554
なるべく安くすませるにはそうなりますね。
まぁ,鬼滅の刃のDubがAdult Swimにしかなかった当時は,毎週トレントに流れてたけど… >>555
重ね重ねありがとう
トレ◯トは最終手段って感じかな
怖いから使いたくないけども
とりあえずAdult Swim利用でいってみる Windows 11 バージョン22H2以降に搭載されてるライブキャプション機能が結構イケてる
字幕無かったりセリフと字幕が違う問題が割と解決する なお、名詞とか結構ミスるし、複数人同時会話の結構怪しいのでこれの為にWindows11を入れるほどのものでは無い
最近のAndroidのレコーダーに搭載されてるトランスクリプト機能のが精度が良かったりする リゼロのccを米AmazonPrimeから落としたんだけど13話以降はAI音声認識を使っているので目茶苦茶だった
まともな字幕ダウンロードできた人います? >>559
Amazonの個別課金のほうはまともなCCだったよ。 個別課金するために奮闘してたら垢BANされてしまった!
仕方なく4回ほどアカウント作り直して米発行判定になるデビットカードを使った
手数料が痛かったが勉強代だな 垢BANされちゃったのでクッキーは毎回削除、住所なども毎回変えてた
でも名前だけはクレジットカードと一致させる必要があったから変えられなかった
それでもアニメの個別購入はできたから名前の判定は緩いと思う システム上クレジットカードの名前は何にしても決済通るからテキトーに入力しても問題ないはずだよ ジブリアニメは英語学習的には結構良いぞ
翻訳吹替え版と英文スクリプトがほとんど無料で手に入るし >>566
何言ってんだよ
セリフのない箇所は切り取るんだよw