動画に翻訳した字幕をいれなければいけないけど、できるかぎり安く、できれば無料の字幕翻訳サービスはないか、などと考えていませんか？

 

AIが急速に発展しつつある今日、動画に字幕をいれたり、動画のセリフを翻訳したりして字幕にすることはお金をかけずに簡単にできると言われています。

たとえば、YouTubeに動画をアップロードすれば簡単に字幕を作成してくれますし、翻訳もしてくれます。

 

しかし、そのような自動字幕翻訳機能がうまく機能する場合もあれば、まったく機能しない場合もあります。

 

今回の記事では、YouTubeなどの自動字幕翻訳機能の性能について実例を見ながら解説します。

最後まで読んでいただければ、どのような手法で動画の字幕を翻訳するべきなのか、理解できることでしょう。

ぜひ、最後までお読みください。

 

YouTubeの自動字幕翻訳機能でうまく翻訳できない理由はなに？

YouTubeなどの自動字幕翻訳機能が時に意味をまったくなさない翻訳字幕を作り出すことがあります。

その原因はAIの性質です。

AIは私たちの想像をはるかに超える量の情報を記憶して、記憶した情報のなかから答えを探し出します。

 

大雑把な説明になりますが、たとえば、猫の写真をAIに見せてAIがそれを「猫である」と判断できるのは、1億匹以上の猫の写真をAIが覚えており、新たに見せられた写真を記憶している猫の写真と比べて「それが猫である」と判断します。

逆にいえば、猫の写真を一枚しか記憶していないAIに、違う種類の猫の写真を見せてもAIはそれが「猫である」と判断することはできません。

 

AIが正しい判断をするときは、その判断の根拠となる情報をたくさん持っているからなのです。

逆に言えば、少量の情報しか持っていない分野についてAIは正しい判断ができません。

造語や新しい言葉、詩的な表現が使われて、過去に翻訳例が少ない文章をAIは苦手とするのです。

 

YouTubeを使って動画の字幕を自動翻訳してみた結果

YouTubeの自動字幕生成機能と自動翻訳機能を使って二つの動画の字幕翻訳を作成したみたところ、大きな違いが生じました。

今回利用した１つ目の動画はあの有名なスティーブ・ジョブ氏のスタンフォード大学でのスピーチをパソコンのスピーチ機能を使って読ませたものです。

 

２つ目の動画は日本経済新聞の「春秋」（2023年5月23日）を同じくパソコンのスピーチ機能を使って読ませたものです。

 

スティーブ・ジョブズ氏のスピーチ動画（最初の30秒）

 

日本経済新聞「春秋」（最初の11文）

 

この二つの動画をYouTubeにアップロードして自動翻訳してもらいました。

その結果が以下の動画です。

 

スティーブ・ジョブズ氏のスピーチ動画（最初の30秒）の字幕付き動画

 

 

日本経済新聞「春秋」（最初の11文）の字幕付き動画

 

スティーブ・ジョブ氏のスピーチを日本語に自動翻訳すると、比較的上手に翻訳されました。

しかし「春秋」の動画を自動翻訳してみたところ、なかなか難しい結果となりました。

 

このような違いが出る理由はジョブス氏のスピーチは多くの人が日本語に翻訳してインターネット上で公開しているからです。

その情報をYouTubeのAI は探し出し、最も多い情報を選び出して答えを導きだします。

 

この場合、たくさんの情報がインターネット上にあふれているため、AIは文章、またはスピーチを一つのかたまりとして翻訳できた可能性があります。

 

その反面「春秋」は、多くの人が英語に訳している文章ではありません。

そのため、AIは文章のかたまりを英語に直すことができず、インターネット上に公開されている一つ一つの単語の英語の意味をつなぎ合わせて文章を生成したと考えられます。

そのため、文章の意味がわかりにくい字幕が生成されてしまったのです。

 

Google翻訳はどこまで頼りにしてよいのか？

字幕の自動翻訳がうまく機能しなければ、動画のセリフを書き起こすか、そもそもの原稿を入手してGoogle翻訳などで翻訳してから、動画に字幕をつけるという方法もあります。

 

Google翻訳がどこまで頼りになるのか、先ほどと同じ文章を用いて翻訳してみました。

 

スティーブ・ジョブ氏のスピーチは以下のように訳されました。

 

原文

I’m honored to be with you today for your commencement from one of the finest universities in the world.

Truth to be told.

I’ve never graduated from college.

And this is the closest I’ve ever gotten to a college graduation.

Today I want to tell you three stories from my life.

 

日本語訳

本日は、世界有数の大学の卒業式に出席できて光栄です。

語るべき真実。

私は大学を卒業したことがありません。

そして、これは私がこれまでに大学卒業に最も近づいた日です。

今日は私の人生から3つの話をしたいと思います。

 

特に大きな問題はなく訳されていると言って良いでしょう。

 

「春秋」を訳した結果は以下のとおりです。

 

原文

東武東上線・森林公園駅の駅舎には、南から飛来したツバメの巣が数多くある。子育ての真っ最中だ。周囲には緑豊かな丘陵が広がる。エサが豊富なのだろう。なんとも平和な駅からタクシーで１０分ほど。国内外の人々が集う小さなギャラリーがある。


「原爆の図」の連作屏風絵で知られる丸木位里、俊夫妻の作品を展示する「丸木美術館」である。先週末に訪ねると、家族連れなどが静かに鑑賞していた。広島県出身の位里は、原爆投下の数日後に東京から汽車で現地入りした。複数の親族が犠牲になった。放射線を浴びた一人ひとりの身体を、克明に描く筆致が特徴だ。

 

翻訳文

In the station building of Shinrin Koen Station on the Tobu Tojo Line, there are many nests of swallows that flew in from the south. I'm in the middle of parenting. Surrounded by lush green hills. There must be plenty of bait. About 10 minutes by taxi from a very peaceful station. There is a small gallery where people from Japan and abroad gather.

The Maruki Art Museum exhibits the works of Iri and Toshi Maruki, who are known for their series of folding screen paintings called "The Pictures of the Atomic Bomb." When I visited last weekend, families were watching quietly. Iri, who was born in Hiroshima Prefecture, arrived there by train from Tokyo a few days after the atomic bomb was dropped. Several of his relatives were killed. It is characterized by the brush strokes that clearly depict the bodies of each person who has been exposed to radiation.

 

こちらも、見た感じ大きな問題はないようにみえます。

 

しかし、日本語を英訳する際には致命的な問題が起きてしまいます。

それは主語を間違えるという問題です。

 

これはGoogle翻訳の性能が悪いという問題ではなく日本語の性質の問題です。

日本語は主語がなくても意味が通じるのです。

 

上の文章ですと「子育ての真っ最中だ」という部分ですがGoogleの英訳では「I'm in the middle of parenting.」と訳されています。

そもそも、日本語に主語がないのですから、このような文章は今後いくらAIが発達したとしても、解決されない可能性が高いのです。

 

さらには、Google翻訳は一語一句ていねいに翻訳してしまうので、全体の文章量が多くなる傾向にあり、動画の字幕には適さないケースもでてきます。

また映像の雰囲気に翻訳された文章が合致しているかというと、そうでないケースも多数でてきてしまいます。

 

結論として、Google翻訳で作成された日本語をそのまま動画の字幕として使うことはできないでしょう。

 

まとめ

今回は、無料で使えるYouTubeの自動字幕翻訳機能とGoogle翻訳を実際に使ってみて、動画の字幕翻訳に利用可能かどうかを検証してみました。

 

結果、YouTubeの自動字幕翻訳機能については、インターネット上にたくさんの情報が掲載されている分野であれば、きれいな字幕翻訳を作ることができるだろうという結論にいたりました。

 

しかし、インターネット上に挙げられている情報が少ない分野においては不得意とするようです。

Google翻訳についても、翻訳された文章をそのまま動画の字幕には使用できないという結論が導きだされました。

 

動画の字幕翻訳はセリフやナレーションを翻訳するだけではありません。

映像に合わせたトーンで情報を簡潔に視聴者に伝える必要があります。

さらに、ドラマなどのセリフを訳す場合、主語の間違いは致命的です。

 

動画の翻訳が必要になった場合には、まずは専門家にお願いするのが一番よいでしょう。

 

少しでも迷ったらまずはお気軽にご相談ください。

お客様にとって最適なご提案ができると思います。

 

 

株式会社LA ORG　桝村（https://la-org.com/）