LLMキャッチアップ12/16

[Eigo-Mt-Fuji]

背景

• これと同じことをTypescriptでできるようにしておきたい https://zenn.dev/ryomak/articles/langchain-go-weaviate

・プロンプトテンプレート 
・OpenAI API  github.com/go-openapi
    Audio
    Chat
    Embeddings
    Fine-tuning
    Files
    Images
    Models
    Moderations
・Langchain github.com/tmc/langchaingo
・VectorStore github.com/weaviate/weaviate github.com/weaviate/weaviate-go-client
・Git操作

[Eigo-Mt-Fuji]

LangChain is a framework for developing applications powered by language models. It enables applications that

• Are context-aware（コンテキスト検出）
  • connect a language model to sources of context
    • prompt instructions
    • few shot examples
    • content to ground its response in
• Reason（推論）
  • rely on a language model to reason
  • about how to answer based on provided context, what actions to take, etc.

[Eigo-Mt-Fuji]

• ローカルLLMのメリットを説明する上で、OpenAI APIの制約を考えるとプロンプトの挙動が仕様変更によって上手く動かなくなるリスクがあります。モデルのバージョン固定も限定的であり、例えばOpenAI APIには「gpt-3.5-turbo-0613」という今年6月にリリースされたモデルは利用期限が2024年の6月13日と、一年程度しか使えません。
  つまり、提供されたAPIを通じてLLMを使う場合、提供者側のリリースに左右される。一方、ローカルLLMはファイルとして公開されたモデルをダウンロードして利用する(その気になれば10年間利用することも理論上は可能)

• ただし、一般的にAPIサービスよりも性能は下がる(ほんと？) 計算資源を沢山使う(どの程度) スケール難易度が高い(小規模な環境であれば使えるかも)

• 費用の問題を解決すれば、適用可能なシーンがあるかもしれない。