跳到主要内容

GitHub Models

备注

这是 GitHub Models 集成的文档，它使用 Azure AI 推理 API 访问 GitHub Models。

LangChain4j 提供了 4 种不同的与 OpenAI 集成的方式来使用嵌入模型，这是第 4 种：

  • OpenAI 使用 OpenAI REST API 的自定义 Java 实现，最适合与 Quarkus（因为它使用 Quarkus REST 客户端）和 Spring（因为它使用 Spring 的 RestClient）一起使用。
  • OpenAI 官方 SDK 使用官方 OpenAI Java SDK。
  • Azure OpenAI 使用来自 Microsoft 的 Azure SDK，如果您使用 Microsoft Java 技术栈，包括高级 Azure 认证机制，它会工作得最好。
  • GitHub Models 使用 Azure AI 推理 API 访问 GitHub Models。

如果您想开发生成式 AI 应用程序，可以使用 GitHub Models 免费查找和试验 AI 模型。 一旦您准备好将应用程序投入生产，可以切换到付费 Azure 账户的令牌。

GitHub Models 文档​

Maven 依赖​

纯 Java​

<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j-github-models</artifactId>
    <version>1.0.0-beta3</version>
</dependency>

GitHub 令牌​

要使用 GitHub Models，您需要使用 GitHub 令牌进行认证。

令牌在 GitHub 开发者设置 > 个人访问令牌 中创建和管理。

一旦您有了令牌，可以将其设置为环境变量并在代码中使用：

export GITHUB_TOKEN="<your-github-token-goes-here>"

创建带有 GitHub 令牌的 GitHubModelsEmbeddingModel​

GitHubModelsEmbeddingModel model = GitHubModelsEmbeddingModel.builder()
        .gitHubToken(System.getenv("GITHUB_TOKEN"))
        .modelName(TEXT_EMBEDDING_3_SMALL)
        .logRequestsAndResponses(true)
        .build();

这将创建一个 GitHubModelsEmbeddingModel 实例。

使用模型​

Response<Embedding> response = model.embed("请嵌入这个句子。");

示例​