12.8 C
Japan
水曜日, 6月 23, 2021

AI開発スタートアップのrinna社が、日本語に特化したGPT-2の大規模言語モデルをオープンソース化!

マイクロソフトのAI&リサーチ部門のAIキャラクター事業(XiaoIce)事業を分離して設立されたスタートアップの「rinna株式会社」は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。GitHubとHuggingFaceで言語モデルとトレーニングコードを公開しています。

オープンソース化の背景

rinna社は、MicrosoftのAI&リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業です。

ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきました。

これらの最新技術は、当社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどにお使いいただいています。 

このたび、製品開発のための自然言語処理(NLP)の実験過程で、日本語に特化したGPT-2の大規模言語モデルを構築しました。日本語のNLP研究コミュニティに貢献するために、開発した言語モデルと、研究者が自分のマシンで実験結果を再現するためのトレーニングコードを、GitHub、およびNLPモデルライブラリHuggingFaceで、オープンソースとして公開します。 

日本語GPT-2モデルの機能とは

言語モデルは、言語データの機械学習をもとに、会話や文章の「人間が使う言葉らしさ」を確率としてモデル化したものです。優れた言語モデルとは確率を正確に推定できるものを指します。例えば、 “確率(吾輩は猫である)>確率(吾輩が猫である)” と推定できるのが、言語モデルの能力です 

 GPT-2は、単語レベルの確率の組み合わせから文の確率を計算する言語モデル(自己回帰言語モデル)です。例えば、 “確率(吾輩は猫である) = 確率(吾輩) x 確率(は|吾輩) x 確率(猫|吾輩,は) x 確率(で|吾輩,は,猫) x 確率(ある|吾輩,は,猫,で)” のような方法で推定を行います。この能力を使って、GPT-2は「吾輩は猫で」という接頭辞(Prefix)を与えられたとき、確率の推定から次にくる単語として「ある」を選択し、文章を自動生成できます。 

今回、rinna社が公開した日本語GPT-2モデルは、一般的な日本語テキストの特徴を有した高度な日本語文章を自動生成できます。ユーザー/研究者は、特定のテキストデータを微調整して、このモデルから独自のモデルを作成することも可能です。  

例えば、Prefixとして「誰も到達していない人工知能の高みへ、ともに」という文章が与えられたとき、特定のコンテキスト(デモ1:講演の感想、デモ2:書籍の紹介)で応答文を生成(※1)するように、微調整できます。 

【デモ1】講演の感想のコンテキストで文章生成

【デモ2】書籍の紹介のコンテキストで文章生成

(※1)上記のデモでは生成する文章の文字数上限を設定しており、実際に生成される全文ではありません。 

rinna社の日本語GPT-2モデルの特徴 

rinna社の日本語GPT-2モデルは、以下の特徴があります。 

  • トレーニングデータとして、CC-100(http://data.statmt.org/cc-100/)のオープンソースデータを使用しています。 
  • Tesla V100 GPUを用いて、70ギガバイトの日本語テキストを約1カ月の長期間にわたってトレーニングしました。その結果、このモデルの性能は約18 perplexity (※2)を達成しました。モデルは十分にトレーニングされており、汎用性があると言えます。 
  • ユーザー/研究者が簡単にアクセスできるように、開発したモデルをHuggingFaceに公開しています。また、研究者が自分のマシンで当社の結果を再現できるように、トレーニングコードをGitHubに公開しています。 
  • 今回公開したのは、GPT2-mediumと定義される中規模サイズのモデルです。今後、パフォーマンスとコストのトレードオフに基づいてユーザー/研究者が最善の選択をできるよう、異なるサイズのモデルも公開する予定です。また、異なるデータでトレーニングした新しいモデルの公開も計画しています。 
    (※2)18 perplexityは、GPT-2モデルが前に与えられた単語から次の単語を予測するときに、正しいものを含む18のオプションだけを残すことができる性能を意味します。 

今後の展開 

rinna社の研究チームが開発している大規模な言語モデルは、すでに当社のプロダクトに広く使用されています。当社は今後も、異なるテキストスタイルや異なるデータ量を含む、より高精度でより大規模な言語モデルの研究開発を続け、AIチャットボットの能力を高めていきます。また、日本語の研究コミュニティのために、これらのモデルをオープンソース化していきます。 

【会社概要】 

社名:rinna株式会社 
所在地:東京都渋谷区渋谷2-24-12 渋谷スクランブルスクウェア39F WeWork 
設立年月日:2020年6月17日 
代表取締役:ジャン“クリフ”チェン 
Webサイト:https://corp.rinna.co.jp/ 
業務内容:AIサービスの研究・企画・開発・運営・販売 

Facebook コメント
PORT編集部https://port.creww.me/
PORT by Crewwは、Creww株式会社が運営する、社会課題をテーマに、新規ビジネス創出を目指すスタートアップ、起業家、復業家、 企業をつなぐ挑戦者のためのオープンイノベーションメディアです。
- Advertisment -

Featured

【募集】「人間と自然の掛け橋」に。兵庫県加古川市の優良企業ムサシがスタートアップ協業

【オープンイノベーションインタビュー】 明治時代に全国屈指の金物のまち兵庫県三木市で金物問屋として創業し、1983年にムサシを設立。加古川に本社を置く同社は、高枝切鋏のムサシとして業績を軌道に乗せ、今現在はセンサーライトと園芸用品のムサシとして事業成長をしている優良中堅企業です。 そんな人と自然に関わる事業を展開する地域の牽引企業として、ここ数年最前線で課題に感じているのは、高齢者が加速するライフスタイルの多様化についていけない現状なのだとか。 そこで、スタートアップとの協業により、企業の枠を超えて社会課題解決につながるサービスや製品を生み出すべく、Crewwのオープンイノベーション支援サービスを使い、アクセラレータープログラム開催に向けて一歩を踏み出しました。 オープンイノベーションに乗り出すに至るまでの思いを、株式会社ムサシ代表取締役社長の岡本篤氏に伺ってみました。 #アクセラレータープログラム #オープンイノベーション #スタートアップ #ムサシ #大挑戦時代をつくる #Creww

【募集】日野自動車「本気のDX」。デジタルがブルーオーシャンの物流業界を変革し、日本に活力を

【アクセラレーターインタビュー】 1942年の設立以来、社会にとって必要不可欠なトラック・バスづくりを担い、日本の物流を支えてきた日野自動車。しかし、技術革新やライフスタイルの多様化に伴い、人や物の移動を取り巻く環境は急速に変化。さらに、ドライバー不足やCO2排出量の削減、持続可能な交通網の維持など、解決すべき社会課題は多岐にわたっています。 そこで、自社でのソリューション開発・提供だけでなく、他社との協業による社会課題解決を目指し、「HINO ACCELERATOR 2021 -HINO DE SAFARI-」を実施。スタートアップの技術やアイデアに日野のアセットを掛け合わせることで、物流業界や社会の課題を解決し、新たな価値提供を目指しています。具体的にどのような思いで取り組んでいるのか、日野自動車CDO(Chief Digital Officer)デジタル領域長の小佐野豪績氏に話を伺いました。

「呼べば5分で届く世界」セイノーHDとエアロネクストがオープンイノベーションで描く空の革命

【アクセラレーターインタビュー】 既存物流とドローン物流を連結・融合させた新スマート物流サービスを確立すべく、2021年1月にセイノーHDとエアロネクストが業務提携を締結。現在、山梨県小菅村にて、無在庫化と無人化を特徴とする、スマートサプライチェーン「SkyHubTM」の実証と実装にむけたプロジェクトを展開中です。 今回は、セイノーHDの河合 秀治氏とエアロネクスト田路 圭輔氏にご登壇いただき、「 SkyHubTM」についての詳細や協業に至った経緯、今後のビジョンなどについてお話しいただきました。 #オープンイノベーション #業務提携 #アクセラレーターインタビュー #セイノーホールディングス #エアロネクスト #SkyHubTM #スカイハブ #小菅村 #実証実験 #ドローン物流 #大挑戦時代をつくる #Creww

物流ソリューションの未来を切り開く為、これまでの常識にとらわれない「次の物流」の開発に、スタートアップの皆さまとチャレンジさせていただきたい。

【アクセラレーターインタビュー】 物流業界大手の佐川急便が、2021年度もアクセラレータープログラムを実施します。2014年からオープンイノベーションに積極的に取り組んできた同社は、スタートアップとのアライアンス活動の要となる新たな基地として、昨年「HIKYAKU LABO」を新設。物流を取り巻く環境や顧客ニーズが激変する中、スタートアップとの協業によって持続可能な社会を作るべく、社会課題の解決に取り組んでいます。「アクセラの審査には通過しなかったとしても、応募いただいたスタートアップとは何かしらの協業を模索したい」と語る執行役員・藤野博氏に、佐川急便がオープンイノベーションに取り組む背景やスタートアップと狙いたい領域などを伺いました!
Facebook コメント