V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
2bNot2b
V2EX  ›  OpenAI

求教使用 gpt-4o 时,同样的输入输出结果不同的问题

  •  
  •   2bNot2b · 20 天前 · 602 次点击

    背景

    要对一批互联网上采集到的文章进行分类标注,识别文章中的主题是否有犯罪行为。

    prompt

    prompt = f"""
    ## 角色
    你是一位法律专家,专长于分析法律文本和判断犯罪行为。
    
    ## 任务
    分析给定文本中各主体的行为,判断其是否构成犯罪,并以“犯罪”或“未犯罪”作为结论。
    
    ## 背景知识
    - 熟悉犯罪行为的定义和种类。
    - 理解各国法律体系中对犯罪的判定标准。
    
    ## 分析步骤
    1. 仔细阅读并分析文本中提到的每个主体的行为。
    2. 运用法律知识评估这些行为是否构成犯罪,并提供理由。
    
    ## 输出要求
    - 使用严谨的法律语言。
    - 输出长度不超过 500 字。
    - 提供确认犯罪行为的原文内容,优先选择包含犯罪类型的内容。
    - 总结犯罪原因,基于原文内容。
    - 每个主体字段中仅包含一个犯罪主体。
    - 每个犯罪类型字段仅包含一种类型,类型包括:洗钱、恐怖分子融资、贿赂、贪污、制裁、禁运、逃税、走私、贩毒、人口贩运、虐待、奴役、欺诈、盗窃、高利贷、非法聚赌、内幕交易、操纵市场、诈骗、其他。
    - 以 JSON 格式输出,格式示例:[{{"reason":"犯罪原因","result":"结果","entity":"主体","type":"犯罪类型","original_text":"原文内容"}}]。
    
    ## 示例输出
    ```json
    [
      {{"reason":"主体 A 实施了盗窃行为,违反了相关法律。","result":"犯罪","entity":"主体 A","type":"盗窃","original_text":"原文内容"}},
      {{"reason":"主体 B 实施了贿赂行为,违反了相关法律。","result":"犯罪","entity":"主体 B","type":"贿赂","original_text":"原文内容"}}
    ]
    \`\`\`
    ## 文本
    

    {text}

    """
    

    问题

    1. 同样的输入调用多次,结果不一致,可是温度值已经是 0 了,测试了 4o 、4omini 都会有这种情况。这种情况如何优化?
    2. 对分类的准确度不够。这种怎么优化?
    7 条回复    2024-12-16 16:55:22 +08:00
    Hanbuger
        1
    Hanbuger  
       20 天前   ❤️ 1
    1.多个不同模型选举
    2. 构建分类层级,然后分步骤多次细化分类,比如 promptA 先划分大类,然后 promptA_1 划分细分类
    neteroster
        2
    neteroster  
       20 天前 via Android   ❤️ 1
    OpenAI 的话,温度为 0 输出也不同是预期的,这一点无法避免。指定 seed 会好点,不过也不能保证确定性。

    感觉你这个需求提高准确率得上点 RAG 结合 few-shot 或者直接用微调模型,啥都不用模型可能法律这方面知识不够。
    2bNot2b
        3
    2bNot2b  
    OP
       20 天前
    @Hanbuger #1 好的,我去试试。
    2bNot2b
        4
    2bNot2b  
    OP
       20 天前
    @neteroster #2 微调模型有点难,我试试指定种子。
    kerb15
        5
    kerb15  
       15 天前
    想要相同输入得到相同输出,自己建缓存[狗头]
    2bNot2b
        6
    2bNot2b  
    OP
       10 天前
    @kerb15 #5 主要是我用来做分类,一会对了一会不对
    kerb15
        7
    kerb15  
       9 天前
    @2bNot2b #6 正常
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   6063 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 06:14 · PVG 14:14 · LAX 22:14 · JFK 01:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.