V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
WhoCanBeRich
V2EX  ›  问与答

算法会作恶吗?我们如何面对?

  •  
  •   WhoCanBeRich · 2019-06-07 00:32:57 +08:00 · 3742 次点击
    这是一个创建于 2031 天前的主题,其中的信息可能已经有所发展或是发生改变。
    之前身边关注算法比较多的是一些推荐机制,比如淘宝、今日头条和抖音,但是今天看到一个文章说美国使用算法来评测一个人该蹲多久,好像好几个州已经实施了,然后研究人员发现算法存在种族歧视的问题:同一种罪,白人和黑人判刑时间不同,评估风险指数也不同。
    新闻链接在这:https://www.propublica.org/series/machine-bias

    想和 V 友们讨论讨论除了上面说的这些情况,你还遇到过(或者预测)哪些算法应用会产生偏见呢?
    30 条回复    2019-06-07 22:47:56 +08:00
    ivesun
        1
    ivesun  
       2019-06-07 01:01:05 +08:00 via Android
    算法有偏见也是人写进去的,跑的时候代码自身没有情绪
    lovestudykid
        2
    lovestudykid  
       2019-06-07 01:04:36 +08:00
    这个应该是数据代入的,本质上也是人造成的。本来就有研究方向是去除数据中的这种 bias
    swulling
        3
    swulling  
       2019-06-07 02:45:07 +08:00 via iPhone
    机器学习本质是统计学,有偏见是因为从统计角度,事实就是这样
    pkookp8
        4
    pkookp8  
       2019-06-07 02:54:39 +08:00 via Android   ❤️ 2
    杀熟,不就是一种老顾客被算法(产品经理)歧视现象么
    Ultraman
        5
    Ultraman  
       2019-06-07 05:16:47 +08:00 via Android
    参考奥创带有 tony 的激进性格?
    wc951
        6
    wc951  
       2019-06-07 06:07:27 +08:00 via Android
    算法都是一样的,你说的作恶来源于输入了数据和调完参之后生成的模型
    autoxbc
        7
    autoxbc  
       2019-06-07 06:53:21 +08:00   ❤️ 2
    有一种算法之恶很少有人提到,即算法的不可理解导致的困境

    一个在统计上足够优秀的算法,如果给出一个违反直觉违反常识的方案,人类如何自处。比如人好端端的在休息,算法突然说快从 3 楼跳出去,背后可能是导弹即将来临,也可能是极低概率的算法错误

    终有一天,最智慧的人类也无法理解算法亿万次迭代的结果,人是做弱智的顽固人类,还是理性的屈服于硅基生物,这是个问题
    maxco292
        8
    maxco292  
       2019-06-07 07:09:49 +08:00 via Android
    机器学习引入的数据是极有可能带有先验的,另外做算法的人本身的目的性(这一点传统算法也会有),最后机器学习背后数学理论框架 pac 学习,也是有泛化误差存在的,这些你很难保证'不'作恶
    Jirajine
        9
    Jirajine  
       2019-06-07 08:36:17 +08:00 via Android   ❤️ 1
    当然会。比如人脸识别算法。这是目前为止最邪恶的技术了
    exip
        10
    exip  
       2019-06-07 08:45:47 +08:00 via Android
    算法不会作恶,算法只会拿到数据算出结果。会不会作恶取决于使用算法的人。就像一个刀只会切开东西一样,至于切的是食材还是人,完全取决于使用刀的人。
    尽可能的了解原理,利用算法规则做出应对,就像算法杀熟,可以尽量给它一次性的数据或者故意加入脏数据,让算法认为这是一个新人或者不是它期待的人。
    zhazi
        11
    zhazi  
       2019-06-07 08:51:08 +08:00   ❤️ 1
    四则运算会作恶吗?我们如何面对?
    AvenirX
        12
    AvenirX  
       2019-06-07 09:03:31 +08:00 via iPhone
    这算法是靠数据训练出来的。如果这些数据本身就体现了同样前提下更危险的人恰好大多数是黑人呢?
    种族平等是人类感性的愿望。不妄干预算法也要达成黑人白人平等,这也算是人类的良心吧。
    Takamine
        13
    Takamine  
       2019-06-07 09:11:43 +08:00 via Android
    算法:我就一个和水泥养家的,修柏林墙怪我咯?
    Salvation
        14
    Salvation  
       2019-06-07 09:13:49 +08:00   ❤️ 2
    现在连:“算法”也是作恶的主体了吗。

    说实话,这个问题问出来有点搓。
    doresu
        15
    doresu  
       2019-06-07 09:25:45 +08:00
    算法只是工具,作恶的不是算法,就像菜刀不仅能做菜还能杀人
    wolfie
        16
    wolfie  
       2019-06-07 09:35:45 +08:00
    如果某算法认为黑人犯罪可能比白人高,是算法的问题,还是统计样本问题。

    数据 == 现实
    (也有部分计算理论错误导致结论错误)

    肤色深浅与恐怖分子概率有没有关系?
    ymcj001
        17
    ymcj001  
       2019-06-07 09:38:48 +08:00
    我喜欢这个问题,我觉得技术的发展,最后的使用者在人。人会怎么用可就太难说了,可是我相信,如果没有约束,技术会变成更加有效的作恶工具。就像人脸识别,难道不是一项好技术吗,可是为什么现在说起这个就闻风色变呢。
    qunqun
        18
    qunqun  
       2019-06-07 10:10:27 +08:00 via Android
    @autoxbc 哈哈,不用担心哦,不听话是人的天性哦,所谓不听老人(算法)言,吃亏在眼前😂
    AimerUnow
        19
    AimerUnow  
       2019-06-07 10:28:37 +08:00
    推荐 @liuyubobobo 最近在慕课网写的那个专栏。里面最新的两篇文章都提到了类似的内容。
    softtwilight
        20
    softtwilight  
       2019-06-07 11:52:24 +08:00   ❤️ 1
    工具真是中性的吗?举个极端的例子,折磨人的刑具是中性的吗,当工具的存在把一种作恶的可能性从不可能变成可能,还是中性的吗
    Fulcrum
        21
    Fulcrum  
       2019-06-07 13:22:30 +08:00 via Android
    那是模型有问题,问题在抽象的人
    edgnoz
        22
    edgnoz  
       2019-06-07 13:25:05 +08:00
    重点是写算法的人
    hoyixi
        23
    hoyixi  
       2019-06-07 13:28:41 +08:00
    这问题挺“大”的

    倒是现实的个例,比如:大多公务员不招 35+,一些公司不招大龄未婚未婚女,这些算不算?

    个例视而不见,忍了,那么个例组成的“社会”, 能有啥公平。
    Vegetable
        24
    Vegetable  
       2019-06-07 13:41:53 +08:00
    何为算法?
    SuperMild
        25
    SuperMild  
       2019-06-07 13:58:33 +08:00 via iPhone
    @softtwilight 工具不是中性的,而是没有任何倾向性,工具本身没有感情没有意志。

    制造刑具的是人,使用工具的也是人,怪不得工具。
    SuperMild
        26
    SuperMild  
       2019-06-07 14:00:43 +08:00 via iPhone
    说什么算法作恶,是转移目标,企图把人的责任转移到没有生命的工具上。
    SuperMild
        27
    SuperMild  
       2019-06-07 14:04:25 +08:00 via iPhone
    有人做了一把枪,并且用来杀了人,难道要怪枪太邪恶?

    枪表示很无奈:臣妾也不想呀~
    ymcj001
        28
    ymcj001  
       2019-06-07 17:38:35 +08:00 via Android
    @SuperMild 我越来越觉得,没有约束,比起行善,使用工具作恶会更有吸引力
    ivanchou
        29
    ivanchou  
       2019-06-07 17:42:17 +08:00 via Android
    可能楼主对算法还是不够了解,其实没有那么高深。
    testeststs
        30
    testeststs  
       2019-06-07 22:47:56 +08:00
    你想多了,政治 /法律 /艺术 /文学是人类最后的底线,要是这个都能让算法 /人工智能来替代,说明世界上所有的事情都不需要人来完成了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1814 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 16:21 · PVG 00:21 · LAX 08:21 · JFK 11:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.