Llama-3-ELYZA-JP導入 (2024/07/16)

概要

  • AI研究の第一人者である東京大学・松尾豊教授の研究室のメンバーが立ち上げたELYZAが提供する、大規模言語モデル「ELYZA LLM for JP」シリーズの最新モデルとして、Meta社の「Llama 3」をベースとした700億パラメータの「Llama-3-ELYZA-JP-70B」と80億パラメータの「Llama-3-ELYZA-JP-8B」。
    • 70Bモデルは「GPT-4」「Claude 3 Sonnet」などの商用グローバルモデルを上回る性能を実現。
      • チャット形式のデモも用意。高性能な国内製モデルとして、企業向けに提供を予定。
    • 8Bモデルは「GPT-3.5 turbo」を上回る性能を達成し、オープンなモデルのなかでは最高水準の性能を達成。
      • 研究および商業目的での利用が可能な形式で一般公開。

ローカルで大規模言語モデルを利用するためのWebUI導入

① 任意の場所からターミナルを開き、下記のコマンドを実行。

git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui
./start_windows.bat
  • Gitクライアントはあらかじめインストールしておく。

② インストール途中でGPU選択が表示されるので、利用する環境を選択。

A) NVIDIA
B) AMD (Linux/MacOS only. Requires ROCm SDK 5.6 on Linux)
C) Apple M Series
D) Intel Arc (IPEX)
N) None (I want to run models in CPU mode)
  • 多分上のほうを利用できると高速です。(検証環境は「RTX2060」のため「A」を入力)

③ インストールが正常に完了したら、Webブラウザで「http://127.0.0.1:7860」を開く。

  • 他のソフトがポートを占有している場合、画面に表示されているURLを開く。

Llama-3-ELYZA-JPのダウンロードと反映

① 「Model」タブを開いて「Download model or LoRA」に「elyza/Llama-3-ELYZA-JP-8B-GGUF」と入力し「Get file list」ボタンを押下。

  • 成功したら「Hugging Face」に登録されているファイルリストが表示されるする。

② 「File name (for GGUF models)」と書かれたテキストボックスに「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」と入力し「Download」ボタンを押下する。

  • ダウンロードできない場合は手順①で表示されたリストからコピペする。

③ 画面左上の「Model」選択プルダウン右の更新(ぐるぐる矢印)ボタンを押下し、 プルダウンから「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」を選択した状態で「Load」ボタンと「Save settings」ボタンを押下する。

  • プルダウンに「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」が表示されない場合、WebUIを一度再起動する。

動作確認

「Chat」タブを開き、画面下の「Send a message」と書かれたテキストボックスに質問などを入力し「Generate」ボタンを押下する。

8Bモデル（レスポンス：1分ぐらい）

  • ChatGPTについて説明してください。
    • ChatGPTは、Meta AIが開発した大規模言語モデルです。ChatGPTは、膨大な量のテキストデータを学習し、自然言語処理(NLP)技術を適用することで、人間のような会話が可能なAIです。
    • ChatGPTの特徴は以下の通りです。
    • 自然言語理解(NLU): ChatGPTは、ユーザーの入力された文を理解することができます。具体的には、文章の意味や文脈を把握し、内容を解釈することが可能です。
    • 自然言語生成(NLG): ChatGPTは、与えられた入力文を元に、文章や文を生成することができます。ChatGPTは、ユーザーの要望や目的に応じて、適切な文や文章を生成することができます。
    • その他の機能: ChatGPTには、会話や文章を管理するための多くの機能があります。例えば、ユーザーとAIの会話を追跡し、会話の内容や文脈を把握することができます。
    • ChatGPTは、多くの分野で応用が期待されます。例えば、顧客サポートや、教育、研究、コミュニケーションなどです。
    • ChatGPTは、AIが人間の会話を模倣する能力を高めるために非常に有用です。AIがより人間に近い会話を可能にすることで、人とAIの相互作用がより自然になることが期待されます。
  • ISMS説明会に参加した社員に対して、「本日はお忙しい中、お時間をいただき」ではじまるメールを書いてください。
件名: ISMS説明会のご参加ありがとうございました

本日はお忙しい中、ISMS説明会にご参加いただきありがとうございました。

情報セキュリティマネジメントシステム(ISMS)の概要や、弊社のISMSの取組みについて理解を深めていただく機会となりました。

今回の説明会で学んだことを、日常業務や内部監査に活かして、情報セキュリティの向上にご尽力いただければと思います。

資料の送付や、ご質問いただいた点の回答については、後日改めてご連絡いたします。

今後とも、弊社の情報セキュリティ対策にご協力いただけますようよろしくお願い申し上げます。

参考サイト