生成AIIntel GPU搭載のノートパソコンは生成AI(人工知能)で作家に貢献
2024年6月2日 Sei 節約エンジニア
冒頭画像をご覧いただくとお分かりのように、我が家には二台のGPU搭載ノートパソコンがある。 どうして2台もあるかというと、一台はNVI …
生成AIIntelのGPU環境を壊したので再構築した顛末記 (A770)
2024年6月1日 Sei 節約エンジニア
今回は導入したばかりのIntel GPU A770環境をチューニングできないかと試していて、環境を破壊＆再構築した顛末記。てっきり最初はA7 … 生成AIIntelのGPUで4bit量子化版LLMをLlama.cppで動かしてみた
2024年5月26日 Sei 節約エンジニア
さてインテルCore i7 12700H(Alder Lake)のiGPUを使って、無事かは不明だけれどもLlama.cppを動かすことに …
生成AI[途中経過] IntelのNPUで4bit量子化版LLMが遅い
2024年5月26日 Sei 節約エンジニア
LLMのモデルサイズが64GBもある4bit量子化版Command R+ 104B版の動作が遅い。インテル Core i7 12700H( … 生成AIIntelのNPUでCommand R+ 104B版LLMを動かしてみた
2024年5月26日 Sei 節約エンジニア
今回はIntelのNPUを使ってモンスター級の4bit量子化版Command R+ 104版を動かすことには成功したという事例紹介。ちなみ …