半導体業界に特化した世界初のLLM「SemiKong」を動かしてみた
先日行われたSEMI WESTにて、東京エレクトロンやAitomaticという会社が、半導体業界に特化した世界初のOSSのLLM「SemiKong」を発表したようです。
半導体業界を変革、「SemiKong」が5000億ドル市場再形成への野心を発表
SemiKongはHaggigfaceで公開されているので、実際にロードして動かしてみました。
なお、かんたんにこっちチャットもできます。
- SemiKongは、FPT AI センター、AItomatic、東京エレクトロンのコラボレーションの成果。AI Alliance と IBM のサポートを受けている
- SemiKongのベースモデルは、Llama 3 Instruct モデルに基づいて構築
- 「エッチング」プロセスと半導体製造プロセスにおける一般的なドメイン固有の知識のみをサポートするSemiKongの最初のバージョン
- SemiKongの将来のバージョンでは、エンドツーエンドの半導体製造プロセスに知識が拡張される
- より強力な次のバージョンのSemiKongは2024年12月に、最初のプロセス特化モデルは2024年9月に予定
ということで、エッチング工程にしか対応していないようです。SemiKongはローカルで実行できるモデルで、8Bと70Bモデルがあるようです。今回は8Bモデルを動かしてみたいと思います。
実行
実行環境
- Google Colab
Colabで実行する例を記載します。Colab Pro契約をしているので、GPUはA100を利用しました。
必要なライブラリをインストール
Google Colab以外で実行する場合には、`Transformercなど他のライブラリも必要になります。なお、ライブラリのバージョンで結構こけて試行錯誤しました。 下記ライブラリをインストールした時点で、一度再起動が必要になるケースがあります。
!pip install optimum !pip install auto-gptq
トークナイザーとモデルをHaggingfaceから取得
量子化されています。今回は4bitにしています。
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM, GPTQConfig
config = GPTQConfig(bits=4, use_exllama=False)
tokenizer = AutoTokenizer.from_pretrained("Fsoft-AIC/SEMIKONG-8B-Instruct-GPTQ")
model = AutoModelForCausalLM.from_pretrained("Fsoft-AIC/SEMIKONG-8B-Instruct-GPTQ", quantization_config=config)
推論の実行
import torch
from transformers import pipeline
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
# パイプラインの作成
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer , device=device.index)
messages = [
{"role": "user", "content": "SemiKongは、どういったことが説明できますか？"},
]
# 推論の実行
result = pipe(messages)
print(result[0]["generated_text"][-1]["content"])
実行結果
実際にモデルを動かしてみて、いくつかのプロンプトを投げてみました。
Q. SemiKongは、どういったことが説明できますか？
SemiKong is a popular online platform that provides in-depth analysis, news, and insights on the semiconductor industry. It covers a wide range of topics including chip design, manufacturing, packaging, testing, and supply chain management. The platform features expert analysis, market research, and data-driven insights to help industry professionals make informed decisions. SemiKong's content is curated by experienced journalists and analysts who have a deep understanding of the semiconductor industry. The platform offers a variety of content formats, including articles, podcasts, videos, and webinars, to cater to different learning styles and preferences. Some of the topics that SemiKong covers include: 1. Industry trends and forecasts: SemiKong provides insights on the latest market trends, growth opportunities, and challenges facing the semiconductor industry. Its analysts analyze market data and expert opinions to provide a comprehensive view of the industry's future direction. 2. Technology innovations: SemiKong covers the latest technological advancements and breakthroughs in the semiconductor industry. Its articles and videos explore the potential impact of these innovations on the industry and the broader technology ecosystem. 3. Company profiles and news: SemiKong offers detailed company profiles, including financial performance, product offerings, and strategic initiatives. The platform also reports on the latest news and developments from the semiconductor industry, including mergers and acquisitions, partnerships, and product launches. 4. Regulatory updates: SemiKong keeps industry professionals informed about the latest regulatory developments and policy changes that affect the semiconductor industry. Its articles and analyses help professionals understand the implications of these changes on their businesses and the industry as a whole. 5. Supply chain management: SemiKong explores the complex supply chain dynamics of the semiconductor industry, including sourcing, logistics, and risk management. Its articles and webinars offer insights and best practices for managing supply chain risks and optimizing operations. Overall, SemiKong is a valuable resource for industry professionals who want to stay up-to-date with the latest developments and trends in the semiconductor industry. Its expert analysis, market research, and data-driven insights help professionals make informed decisions and navigate the complex landscape of the industry.
翻訳
SemiKongは、半導体業界に関する詳細な分析、ニュース、および洞察を提供する人気のオンラインプラットフォームです。チップ設計、製造、パッケージング、テスト、サプライチェーン管理など、幅広いトピックを扱っています。このプラットフォームは、業界の専門家が情報に基づいた意思決定を行うための専門的な分析、市場調査、データに基づく洞察を提供します。 SemiKongのコンテンツは、半導体業界に関する深い理解を持つ経験豊富なジャーナリストやアナリストによってキュレーションされています。プラットフォームは、記事、ポッドキャスト、ビデオ、ウェビナーなど、さまざまな学習スタイルや好みに応じたコンテンツ形式を提供しています。 SemiKongが扱うトピックのいくつかには以下が含まれます： 1. 業界動向と予測：SemiKongは最新の市場動向、成長機会、および半導体業界が直面する課題についての洞察を提供します。アナリストは市場データと専門家の意見を分析し、業界の将来の方向性について包括的な見解を提供します。 2. 技術革新：SemiKongは半導体業界の最新の技術革新とブレークスルーを取り上げます。記事やビデオでは、これらの革新が業界および広範な技術エコシステムに与える潜在的な影響を探ります。 3. 企業プロフィールとニュース：SemiKongは財務実績、製品提供、戦略的イニシアチブを含む詳細な企業プロフィールを提供します。プラットフォームはまた、半導体業界の最新ニュースや動向（合併・買収、パートナーシップ、製品発表など）を報じます。 規制の更新：SemiKongは、半導体業界に影響を与える最新の規制動向や政策変更について業界専門家に情報を提供します。記事や分析は、これらの変更が企業および業界全体に与える影響を理解するのに役立ちます。 4. サプライチェーン管理：SemiKongは、半導体業界の複雑なサプライチェーンダイナミクス（調達、物流、リスク管理など）を探ります。記事やウェビナーは、サプライチェーンリスクを管理し、運営を最適化するための洞察とベストプラクティスを提供します。 全体として、SemiKongは、半導体業界の最新の動向やトレンドを把握したい業界専門家にとって価値のあるリソースです。その専門的な分析、市場調査、およびデータに基づく洞察は、専門家が情報に基づいた意思決定を行い、業界の複雑な状況をナビゲートするのに役立ちます。
Q. 重要な半導体メーカについて教えてください。
here are several major semiconductor manufacturers in the world. Here are some of the most well-known ones: 1. Intel: Intel is an American multinational technology company that specializes in the design and manufacture of microprocessors, chipsets, and other semiconductor components. They are one of the largest and most successful semiconductor companies in the world. 2. Samsung Electronics: Samsung Electronics is a South Korean multinational conglomerate that produces a wide range of electronics, including smartphones, televisions, and semiconductor components. They are one of the largest semiconductor manufacturers in the world and have a strong presence in the market. 3. Taiwan Semiconductor Manufacturing Company (TSMC): TSMC is a Taiwanese semiconductor foundry that manufactures integrated circuits for various industries, including mobile devices, computing, and networking. They are the largest independent semiconductor foundry in the world and have a significant share of the global semiconductor market. 4. Qualcomm: Qualcomm is an American multinational corporation that specializes in the design and manufacture of wireless telecommunications products, including semiconductor components for smartphones, tablets, and other mobile devices. 5. SK Hynix: SK Hynix is a South Korean semiconductor manufacturer that produces memory chips, NAND flash, and other semiconductor components. They are one of the largest memory chip manufacturers in the world and have a significant presence in the market. 6. Micron Technology: Micron Technology is an American semiconductor manufacturer that produces memory chips, flash memory, and other semiconductor components. They are one of the largest memory chip manufacturers in the world and have a significant presence in the market. 7. Infineon Technologies: Infineon Technologies is a German semiconductor manufacturer that produces a wide range of semiconductor components, including power management, security, and sensor technologies. They are a leading provider of automotive and industrial semiconductors and have a significant presence in the market. These are just a few examples of the major semiconductor manufacturers in the world. There are many other companies that specialize in the design and manufacture of semiconductor components, and the industry is constantly evolving and innovating to meet the demands of the global market.
翻訳
世界にはいくつかの主要な半導体メーカーがあります。以下に、最もよく知られているいくつかの企業を紹介します。 インテル（Intel）：インテルは、マイクロプロセッサ、チップセット、およびその他の半導体コンポーネントの設計および製造を専門とするアメリカの多国籍技術企業です。世界最大級かつ最も成功している半導体企業の1つです。 サムスン電子（Samsung Electronics）：サムスン電子は、スマートフォン、テレビ、半導体コンポーネントなど、幅広い電子機器を製造する韓国の多国籍コングロマリットです。世界最大級の半導体メーカーの1つであり、市場に強い存在感を持っています。 台湾積体電路製造（TSMC）：TSMCは、モバイルデバイス、コンピューティング、ネットワーキングなどのさまざまな業界向けに集積回路を製造する台湾の半導体ファウンドリです。世界最大の独立半導体ファウンドリであり、世界の半導体市場において大きなシェアを持っています。 クアルコム（Qualcomm）：クアルコムは、スマートフォン、タブレット、およびその他のモバイルデバイス向けの無線通信製品を設計および製造するアメリカの多国籍企業です。 SKハイニックス（SK Hynix）：SKハイニックスは、メモリーチップ、NANDフラッシュ、およびその他の半導体コンポーネントを製造する韓国の半導体メーカーです。世界最大級のメモリーチップメーカーの1つであり、市場に強い存在感を持っています。 マイクロン・テクノロジー（Micron Technology）：マイクロン・テクノロジーは、メモリーチップ、フラッシュメモリー、およびその他の半導体コンポーネントを製造するアメリカの半導体メーカーです。世界最大級のメモリーチップメーカーの1つであり、市場に強い存在感を持っています。 インフィニオン・テクノロジーズ（Infineon Technologies）：インフィニオン・テクノロジーズは、パワーマネジメント、セキュリティ、およびセンサー技術を含む幅広い半導体コンポーネントを製造するドイツの半導体メーカーです。自動車および産業用半導体の主要なプロバイダーであり、市場に強い存在感を持っています。 これらは世界の主要な半導体メーカーの一例に過ぎません。半導体コンポーネントの設計および製造を専門とする他にも多くの企業が存在しており、業界はグローバル市場の需要に応えるために絶えず進化し、革新しています。
Q. Rapidusについてご存じですか？
Rapidus! Yes, I am familiar with Rapidus. It is a company that specializes in the development of advanced semiconductor technologies and solutions. They are known for their innovative approach to chip design and their commitment to delivering high-quality products that meet the needs of their customers. Rapidus has a strong reputation in the industry and is considered a leader in the field of semiconductors.
翻訳
ラピダス（Rapidus）！はい、私はラピダスに詳しいです。ラピダスは、先進的な半導体技術とソリューションの開発を専門とする企業です。チップ設計における革新的なアプローチと、顧客のニーズに応える高品質な製品を提供することへの取り組みで知られています。ラピダスは業界内で強い評判を持ち、半導体分野のリーダーと見なされています。
ここらへんだダメ
ラピダス（Rapidus）は、データ管理、分析、人工知能の革新的なソリューションの開発を専門とする最先端技術企業です。ラピダスのミッションは、データから得られる実行可能な洞察を提供することで、組織が情報に基づいた意思決定を行えるようにすることです。 ラピダスの主力製品は、クラウドベースのデータプラットフォームであり、企業がさまざまなソースから大量のデータを収集、処理、分析できるようにします。このプラットフォームは、高度なアルゴリズムと機械学習技術を使用してデータのパターン、トレンド、異常を特定し、リアルタイムの洞察を提供することで、企業がより良い意思決定を行うのを支援します。 ラピダスのプラットフォームの重要な特徴の一つは、大量のデータを迅速かつ効率的に処理できる能力です。このプラットフォームはビジネスのニーズに合わせてスケールアップするよう設計されており、従来のデータ処理システムよりも大幅に高速にデータを処理できます。 もう一つの重要な特徴は、データベース、センサー、その他のシステムなど、幅広いデータソースと統合できる能力です。これにより、企業はさまざまなソースからデータを収集し、一つの場所で分析することができ、データの包括的なビューを提供します。 ラピダスのプラットフォームは高度にセキュアであり、敏感なデータを保護するための強力なデータ暗号化とアクセス制御が組み込まれています。ラピダスは最高水準のデータセキュリティとコンプライアンスを維持することにコミットしており、そのプラットフォームは金融、医療、政府などの厳しく規制された業界のニーズに応えるよう設計されています。 総じて、ラピダスはデータ管理と分析の分野でリーダー的存在であり、その革新的なソリューションは企業が情報に基づいた意思決定を行い、市場で競争力を高めるのに役立っています。
