会社員時代の同僚に会社を早く辞めて、これからはAIの時代だと言って、シリコンバレーのAIベンチャーと日本企業をつなぐベンチャー支援ファンドを立ち上げた友人がいる。彼とは、この2年経ってないので、次の休みには会って今のAIブームの話をしてみたいものだ。
以前より、彼の話だけでなく、世の中の情勢からも、今後はAIの時代になる事は確実だと私だけではなく多くの人が考えていた。しかしながら、実際のところ技術者でもない、一般人にはAIのテクニカル的な面はよくわからない。
ChatGPTが話題になって、トランスフォーマーという言葉を初めて聞いた。アニメや映画のロボットものもタイトルのようだと思ったものだ。
このトランスフォーマーは、2017年にGoogleのDeepMindが発表した論文「Attention Is All You Need」で提唱され、AI分野に大転換をもたらしたという。この論文のトランスフォーマーというニューラルネットワークは、従来の人工知能システムの制約を取り払い、AIモデルの性能を飛躍的に向上させたそうだ。注目を集めているChatGPTやGoogleのGeminiといった大規模言語モデルの基盤技術となっている。
トランスフォーマーの説明を読んで、「マルチヘッドアテンションと呼ばれるメカニズムを活用し、入力データの異なる部分に同時に焦点を当てられる。これにより並列処理が可能になり、RNNの制約が取り除かれた」というような文章にぶつかって全く理解できない。ネットを調べ、ChatGPTやBardに聞いてもわからない。
「Attention Is All You Need」論文で提唱されたトランスフォーマーは、「入力データの異なる部分に同時に焦点を当てられる。これにより並列処理が可能に」あたりに秘密がありそうだ。
これにより、人間の思考プロセスをある程度まねたモデルになったようだ。（ようだ、ようだと頼りない話だ）トランスフォーマー以前のAIは、データを順番に処理していくRNN(リカレント・ニューラル・ネットワーク)という仕組みが主流だったそうだ。しかしこれには、前のデータの処理が終わらないと次のデータの処理ができないという制限があった。
これに対してトランスフォーマーは、アテンションメカニズムという手法を使うことで、データの全体を一度に参照し、それぞれの重要度を計算できるようになった。つまり、人間が文章を読むときに、重要な単語に注目したり、文脈を掴んだりすることをAIができるようになったということらしい。全体を俯瞰して理解するというアイデアをAIに取り入れたのがトランスフォーマーということのようだ。
全体を見ることにより、データ全体のパターンや意味をつかむことで、より高度な推論ができるように進化した。このメカニズムは、実際にコンピュータの中でどのように処理されるのかは分からないが、なんとなく仕組みは理解できる。
このアテンションメカニズムによってデータの並列処理が可能になり、以前よりもはるかに大規模なモデルを構築できるようになったようだ。これはたくさんの文書を机に並べて、ざっと見ながら考え事をするというイメージなのだろうか。
そして、この大規模が鍵なのだろう。人間も同じように多くの知識を蓄積、訓練することにより、物事を考えられるようになる。
ただしトランスフォーマーがAIの最終形ではないという意見もネット上にはある。OpenAIのサム・アルトマンCEOは、単にモデルを大規模化していくにも限界があると指摘している。OpenAIのGTP-4も限界に来ていて、今後の進化は難しいという意見もネットにはある。AIの更なる進化のためにはトランスフォーマーを超える新たなアーキィテクチャーを考えないといけないようだ。
トランスフォーマー・モデルの競合が多い中で、GoogleがGeminiという新しいAIモデルを発表した。これはGoogleからのChatGPTへの挑戦だ。性能では32のベンチマークのうち30でChatGPTを上回っているというデータをGoogleが公表している。これが、どれほどのものかは実際に多くに人が使い始めてわかるのだろう。当面、トランスフォーマーの話題が続くことになる。
