生産レベルのLLM工具
プログラミングの方法
LLMの強力な理解と生成能力のこの波のために、命令型プログラミングの詳細への注意はもはや必要ではないようです。プロセスやビジネスロジックオーケストレーションパイプライン機能に重点を置いた宣言型プログラミングが主流の“プログラミング”方法となっているので、LCEL、DSpy、セマンティックカーネルなどの新人が“上向き”に注意を払い始め、ビジネスロジックオーケストレーション能力に主な焦点を当てています。おそらくこれはAirflow DAGのようなアプローチを示しています。新世代のプログラミングモデルになるのか？
全体的に
Promptツール
LangSmithとAzure Prompt Flow
プログラミング言語
PythonまたはJava Script
開発フレームワーク/オーケストレーションツール
LangchainまたはSemitic Kernel
APIフレームワーク/Service Boxアーキテクチャ
FastAPIまたはNext.js
クラウドホスティングプロバイダー
Render AWS LamadaまたはVercel
LLMアプリケーションの構築
| 分类 | Name | Star数量 | 备注 | 学习 |
|---|---|---|---|---|
| 框架 | LangChain | 77 | 【必学】 | * |
| LlamaIndex | 29 | 【必学】专注于RAG，Python，JS SDK比较差 | * | |
| Semantic-kernel | 17 | 【不确定？】C#，Python，Java | ? | |
| haystack | 13 | 有了LangChain可能就不需要这个了 | ||
| DSPy | 7 | 太学术了？The framework for programming—not prompting—foundation models | ||
| Agent | SuperAgent | 4 | 这个感觉很专业，有时间再学习 | ? |
| Rift | 3 | 专门针对程序员 | ||
| AutoGen | 22 | |||
| Camel | 4 | |||
| GPTs | OpenGPTs | 6 | LangChain出品 | |
| 低代码 | LangFlow | LangChain可视化 | ||
| LiteLLM | ||||
| Flowise | 21 | |||
| Langflow | 14 | |||
| PromptChainer | 商业 | 感觉做的很专业 | ||
| RAG | vectara | 闭源 | 非常专业的RAG商业软件；也有开源项目；用户可以将PDF、Word、PPT、RTF等文件数据上传至Vectara平台中，构建数据搜索引擎。 |
アーカイブと観察
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| 观察 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | |
| Tanuki | 一个使用装饰器进行数据验证的 LLM 框架 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | |
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | |
| intructor | 3.6 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | |
| txtai | 6.5 | 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | |
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | |
| 归档 | Chidori | 1.2 | |
| AutoChains | 已经3个月没更新 | ||
| MiniChain | 1.2 | 已经3个月没更新 | |
| SimpleAIChat | 3.3 | 已经7个月没更新 |
モニタリングと分析
本番レベルのLLMサービスには、次のことが必要です。
-
Promptをデバッグ
-
Promptのバージョン管理
-
テスト/検証システムに関連する指標
-
データセット管理
-
さまざまな指標の監視と統計：訪問者数、応答時間、トークン料金など
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| SaaS | LangSmith | N/A | |
| 开源 | LangFuse | 2 | |
| 开源 | Prompt Flow | 7 | |
| Helicone | 1.2 |
生産グレードLLMアプリメンテナンスプラットフォーム
- LangSmith LangChainの公式プラットフォーム、SaaSサービス、** オープンソースではない *
- **[LangFuse] https//github.com/langfuse/langfuse *** オープンソース ** + SaaS、LangSmithフラット、LangChainとの統合、OpenAI API 2.1K
- **[Prompt Flow] github.com/microsoft/promptflow? tab= readme-ov-file ** Microsoft ** オープンソース ** + Semantic Kernel 7.4Kと統合されたAzure AIクラウドサービス
Prompt Flowの意味
学習する。
https://microsoft.github.io/promptflow/how-to-guides/quick-start.html
UIコンポーネント#UIコンポーネント#
LangUI(1.6K)
agentlabs(0.5K)
その他のもの
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| LCEL | |||
| Python 模板语言 | Jinja2 | ||
参考までに
| 分类 | Name | Star数量 | 备注 | |
|---|---|---|---|---|
| 框架 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | ||
| Tanuki | 个使用装饰器进行数据验证的 LLM 框架 | |||
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | ||
| AutoChain | 1.7 | langchain 的另一个替代品 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | ||
| txtai | 6.5 | has spinoffs for chat, workflows for medical/scientific papers, semantic search for developers and semantic search for headlines and story text 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | ||
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | * | |
| 库 | intructor | 3.6 | * |
E 2 B：AI製品のためのフレームワークとツール
| Category | Tools/Platforms |
|---|---|
| Monitoring, Observability, Analytics | Langsmith, Helicone, langfuse, context |
| Frontend | AgentLabs |
| Runtime for LLMs | E2B |
| Building frameworks & platforms | Langchain, Haystack by deepset, Superagent, Poe, GenWorlds, LiteLLM, Rift by Morph, AutoGen, Vercel AI SDK, OpenGPTs, Huggging Face Agents, Fixie |
| Data integration, memory management | vectara, LlamaIndex, ABACUS.AI, cadea, SID Memory |
| API and routers for LLMs | Genoss GPT, Martian, OpenRouter |
| Libraries for building AI products | CAMEL, ChatterBot（5年没更新了） |
| Orchestration | AGIXT |
| Building & deploying LLMs | BANANA |
