ローカルLLMを構築してみた。

備忘代わりのメモ。
こっちのページをまったく更新しないので、という理由もある。

概要

  • AIの活用について、会社でも使ってはいるんだけど、家のPCでも準備してみることにした。
  • 会社だと閉塞ネットワークで思いっきり使えるんだけど、個人でも機密事項を取り扱うことを考慮し、ローカルLLMを試してみる。
  • 一応導入済みのローカルのAIツールは、議事録作成とかはMeetlyっていうのを使っているんだけど、そのほかにドキュメント作成やまとめが必要になってきそうなので、別途起動ができるようにしておく。

大前提/導入事由

  • 大前提として、自分の場合、タスクを見える化して「忘れても問題ない」状態にしないとタスクが処理できなくなる。
  • 自分の場合、物理的に手が止まってしまうため、致命的になる。
  • これを解決するのに会話内容やタスクをテキストに書き出しておく。
  • 今回平日や休日の繁忙によりそのタスク情報の書き出しが困難になりつつあったため、解決策として本格的かつ打ち合わせ可否を問わないトランスクリプト環境を構築するもの。

準備内容

利用方法

  • 作業プロセスは以下。
  1. まずMeetlyを通して打ち合わせや一人会話を録音する
  2. Meetlyのフロントエンドからトランスクリプトをコピー
  3. トランスクリプトの内容を任意の場所にあるテキストファイルに貼り付ける
  4. コマンドラインでトランスクリプトの存在するフォルダにアクセス
  5. Copilot起動(起動したフォルダへのアクセスを求められるのでOKとする)
  6. フロントエンドから指定文言(プロンプト)入力
  7. ファイル書き出しを待つ

気づいたこと

  • あまりにもトークンの消費が多い、もしくは入出力がいっぱいある場合途中で止まるみたい。
  • これは、COPILOT_PROVIDER_MAX_PROMPT_TOKENS、COPILOT_PROVIDER_MAX_OUTPUT_TOKENSを指定すればよさそう。(それでも止まったけど)
  • よって、一回の会話で1回ずつCopilotを起動するという形がいい。
  • ただこれするなら定型的なコマンドに命令仕込んでおいて実行するのでもいい気がしてる。