Công cụ LLM Cấp sản xuất
phương thức lập trình / lập trình
Bởi vì làn sóng LLM này có khả năng hiểu biết và tạo ra mạnh mẽ, việc lập trình lệnh chú ý đến chi tiết dường như không còn cần thiết nữa, mà lập trình tuyên bố chú trọng đến quy trình hoặc khả năng đường ống của sắp xếp logic kinh doanh, đã trở thành phương thức "lập trình" chính, vì vậy chúng ta thấy những người mới bắt đầu chú ý đến LCEL, DSPy, Semantic-kernel, đặt sức lực chủ yếu vào khả năng sắp xếp logic kinh doanh, có lẽ điều này cho thấy phương thức DAG tương tự như Airflow, sẽ trở thành một mô hình lập trình thế hệ mới?
tổng thể, tổng thể, tổng thể
Công cụ nhắc nhở
LangSmith hoặc Azure Prompt Flow
Ngôn ngữ lập trình
Python hoặc Javascript
Phát triển khung / công cụ sắp xếp
Langchain hoặc Semitic Kernel
API Framework/Service Frame kiến trúc
FastAPI hoặc Next.js
Nhà cung cấp dịch vụ lưu trữ đám mây
Render (AWS Lamada) hoặc Vercel
Xây dựng các ứng dụng LLM
| 分类 | Name | Star数量 | 备注 | 学习 |
|---|---|---|---|---|
| 框架 | LangChain | 77 | 【必学】 | * |
| LlamaIndex | 29 | 【必学】专注于RAG，Python，JS SDK比较差 | * | |
| Semantic-kernel | 17 | 【不确定？】C#，Python，Java | ? | |
| haystack | 13 | 有了LangChain可能就不需要这个了 | ||
| DSPy | 7 | 太学术了？The framework for programming—not prompting—foundation models | ||
| Agent | SuperAgent | 4 | 这个感觉很专业，有时间再学习 | ? |
| Rift | 3 | 专门针对程序员 | ||
| AutoGen | 22 | |||
| Camel | 4 | |||
| GPTs | OpenGPTs | 6 | LangChain出品 | |
| 低代码 | LangFlow | LangChain可视化 | ||
| LiteLLM | ||||
| Flowise | 21 | |||
| Langflow | 14 | |||
| PromptChainer | 商业 | 感觉做的很专业 | ||
| RAG | vectara | 闭源 | 非常专业的RAG商业软件；也有开源项目；用户可以将PDF、Word、PPT、RTF等文件数据上传至Vectara平台中，构建数据搜索引擎。 |
Lưu trữ và quan sát
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| 观察 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | |
| Tanuki | 一个使用装饰器进行数据验证的 LLM 框架 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | |
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | |
| intructor | 3.6 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | |
| txtai | 6.5 | 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | |
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | |
| 归档 | Chidori | 1.2 | |
| AutoChains | 已经3个月没更新 | ||
| MiniChain | 1.2 | 已经3个月没更新 | |
| SimpleAIChat | 3.3 | 已经7个月没更新 |
Giám sát và phân tích
Các dịch vụ LLM cấp sản xuất yêu cầu:
-
Debugging Prompt (Tùy gỡ lỗi)
-
Quản lý phiên bản prompt
-
Các chỉ số liên quan đến hệ thống kiểm tra/xác minh
-
Quản lý tập dữ liệu
-
Theo dõi và thống kê các số liệu khác nhau: truy cập, thời gian phản hồi, chi phí token, v.v.
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| SaaS | LangSmith | N/A | |
| 开源 | LangFuse | 2 | |
| 开源 | Prompt Flow | 7 | |
| Helicone | 1.2 |
Nền tảng duy trì ứng dụng LLM cấp sản xuất
- LangSmith: Nền tảng chính thức của LangChain, dịch vụ SaaS, ** Không mở nguồn**
- ** [LangFuse] (https://github.com/langfuse/langfuse) **: ** Nguồn mở ** + SaaS, LangSmith thay thế, có thể tích hợp LangChain, giao tiếp OpenAI API (2.1K)
- [Prompt Flow] (https://www.example.com tab=readme-ov-file): Microsoft** nguồn mở** + dịch vụ đám mây Azure AI, tích hợp Semantic Kernel (7.4K)
Dòng chảy nhanh chóng
học tập / học tập
https://microsoft.github.io/promptflow/how-to-guides/quick-start.html
Thành phần UI (UI component)
LangUI(1.6K)
agentlabs(0.5K)
những thứ khác / những thứ khác
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| LCEL | |||
| Python 模板语言 | Jinja2 | ||
Tham khảo
| 分类 | Name | Star数量 | 备注 | |
|---|---|---|---|---|
| 框架 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | ||
| Tanuki | 个使用装饰器进行数据验证的 LLM 框架 | |||
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | ||
| AutoChain | 1.7 | langchain 的另一个替代品 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | ||
| txtai | 6.5 | has spinoffs for chat, workflows for medical/scientific papers, semantic search for developers and semantic search for headlines and story text 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | ||
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | * | |
| 库 | intructor | 3.6 | * |
E2B: Khung và công cụ cho các sản phẩm AI
| Category | Tools/Platforms |
|---|---|
| Monitoring, Observability, Analytics | Langsmith, Helicone, langfuse, context |
| Frontend | AgentLabs |
| Runtime for LLMs | E2B |
| Building frameworks & platforms | Langchain, Haystack by deepset, Superagent, Poe, GenWorlds, LiteLLM, Rift by Morph, AutoGen, Vercel AI SDK, OpenGPTs, Huggging Face Agents, Fixie |
| Data integration, memory management | vectara, LlamaIndex, ABACUS.AI, cadea, SID Memory |
| API and routers for LLMs | Genoss GPT, Martian, OpenRouter |
| Libraries for building AI products | CAMEL, ChatterBot（5年没更新了） |
| Orchestration | AGIXT |
| Building & deploying LLMs | BANANA |
