会計専用AI構築大苦戦中

GoogleのNotebookLMに、会計の書籍、雑誌300冊（仕様上300冊がMAX）を学習させて、会計専用のAIのPoC（Proof of Concept）を実施してみました。これが結構良い回答を返してきます。信頼できる書籍、雑誌に基づいているので、回答も信頼性が高いです。今の段階でも十分に活用できます。

この実験結果を受けて、自分用、会計専用のローカルLLMの制作を決断し、高性能GPUを発注しました。自宅の作業パソコンは、自作なのですが、私はゲームを一切やらないので、GPUはプアなものを取り付けています。他のパーツは高性能なのに、GPUのみプアな、パーツのバランスの超悪いパソコンです。そのパソコンに、メモリーも大きい高性能GPUを取り付け、これから時間をかけて、モデル構築、会計の書籍、雑誌を学習させていきます。ローカルなので、情報漏洩、著作権上の問題も生じません。

完成したら、もう書籍、雑誌を購入して読まなくても、AIに学習させれば、必要な時に取り出せるようになると思い、Ollama + anythingLLM + pakachan/elyza-iiama3-8bでの構築にトライしましたが、全くうまく行きません。AIが嘘をつく現象であるハルシネーション（Hallucination：幻覚）が強く発生し、正確な情報を提供してくれません。設定を色々変更しましたが、うまくいかないため、より簡単なLM Studio + Qwen3.6 35B A3Bに変更しました。しかし、大きな容量のファイルを読み込めないことが判明、ほとんど全ての書籍が分割しないとNGのため、LM Studio + Qwen3.6 35B A3Bも断念、結局、Ollama + anythingLLM + pakachan/elyza-iiama3-8bに戻りました。

RAGの学習から行うこととし、会計専用のローカルLLMの構築は長期戦です。当面は、NotebookLMで対応しようと思います。NotebookLMは、Proの契約だと、ソース数（1ノートブックあたり）は300ファイルが上限ですが、 ノートブック総数（アカウント全体）は500個作れますので、目的別にノートブックを作ろうと思います。

RAGRAG（Retrieval-Augmented Generation / 検索拡張生成）の勉強から開始しなければならず、ローカルLLM構築は長期戦です。