V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Stony  ›  全部回复第 1 页 / 共 1 页
回复总数  20
2017-08-03 00:36:30 +08:00
回复了 akmonde 创建的主题 Python celery 每个 worker 在执行任务时,如何配置一定数量的 task?
http://docs.celeryproject.org/en/latest/userguide/configuration.html
参数配置都在这里,新旧配置的 key 对照表也有。

CELERYD_PREFETCH_MULTIPLIER = n
worker_prefetch_multiplier = n
这个是任务预取功能,就是每个工作的进程/线程/绿程在获取任务的时候,会尽量多拿 n 个,以保证获取的通讯成本可以压缩,在每个任务很短(明显小于 1 秒)情况下,是值得调大的,而且推荐是 2 的幂。0 表示尽可能多拿。如果 1 个都不想多拿,那么除了设置 1 外,还需要 设置 task_acks_late 为 true,如果你的任务不是幂等(可以重复调用)的话,可能会有问题。详细解释参考: http://docs.celeryproject.org/en/latest/userguide/optimizing.html
task_acks_late = True
worker_prefetch_multiplier = 1


CELERYD_MAX_TASKS_PER_CHILD = n
worker_max_tasks_per_child = n
这个表示每个工作的进程/线程/绿程 在执行 n 次任务后,主动销毁,之后会起一个新的。主要解决一些资源释放的问题。

CELERY_TASK_RESULT_EXPIRES = s
result_expires = s
这个表示保存任务结果的时长,这个时间会被设置到 redis 里面(假设 backend 是 redis ),如果抓取数据量大的话,是可以缩短保存的时间,节省 backend 的资源( redis 主要是内存)消耗,默认是 24 小时( 86400 ),单位是秒。


===分割线===
已经 fetch 的任务,要么等执行完毕,要么等 kill 掉。要注意 soft kill 和 hard kill 的区别,没记错的话是 TERMINAL 和 kill -9 的区别。soft kill 会执行完当前的 task,但是,prefetch 的会丢失。在 pycharm 里,我第一次 ctrl+c 是软 kill,可能会等上一会儿,第二次 ctrl+c 是硬 kill,直接停掉进程。

没有 fetch 的任务可以 purge 清理调队列中的。

根据选择的 pool 类型不同,可以有 solo (单进程) prefork (进程池) threading (线程池) gevent (协程池)和 eventlet (协程池)。4.x 好像废弃了线程池,主要的原因我猜可能和 GIL 有关。进程池比较耗内存,好处是所有工作线程资源都是隔离的,如果配置动态数量的挺好用。协程池 则对于 IO 密集型工作比较有优势。所有的并发数量默认是 cpu core 的数量,4 核就是 4,可以根据实际情况调大。
感觉好符合啊,哈哈哈
2015-02-10 15:08:45 +08:00
回复了 XadillaX 创建的主题 Node.js 查快递的 CLI 来啦! xto 包。
@fanzeyi 猜不出来,我抽样的几张,条码的编码方式和单号的数字长度都是一致的……如果没有定义数字前缀的含义的话,就没法猜了。
原则上,工具类只负责工具功能,不负责跳转,跳转交给viewcontroller来干:
viewcontroller调用其他功能
viewcontroller调用工具功能
viewcontroller负责跳转

如果你的工具类专管跳转,那么有2个选择:
1 如果不是核心跳转模块,那么把调用时的self(viewcontroller)作为参数传入。
2 如果是核心跳转模块,那么应该维护一个viewcontroller的堆栈(参考UINavicationController)。
2015-02-10 10:39:17 +08:00
回复了 thonatos 创建的主题 Node.js nodejs 的 mvc,代码组织的方式怎么更合理?
nodejs 的MVC结构,参考 sailsjs 吧。
MVC的问题就是有时候觉得拆分太细,增加一个功能,基本是 M V C都要改,特别是 V 和 C,因为功能展现的界面不一定是一个,所以是多组 V 和 C 都要改,动不动就好多个文件,很繁琐。
MVC的优点嘛,等你要维护一个功能就发现了,不管是调试还是修改,代码流非常简单统一,有bug很容易定位,找关键词就能把相关的代码都找出来,嗯,你之前的努力现在得到了成果。
2015-01-20 22:38:36 +08:00
回复了 Jelen 创建的主题 程序员 App 服务端和客户端设计架构问题
一般不需要长链接。

常见的做法是
请求,显示

复杂的做法就是
请求 缓存 显示
当然正确的顺序是
检查缓存 显示 请求 合并缓存 刷新显示

再复杂点就是
配置 交互 请求 缓存 显示
2015-01-20 22:24:12 +08:00
回复了 ideacco 创建的主题 iPhone 自制了一个 iPhone 6 卡转换大卡 卡套教程
别折腾,买一个才1元多,考虑到邮费,我一次买了10多个。。。然后随手送人~
http://detail.tmall.com/item.htm?id=39166970807&spm=a1z09.2.9.22.wcFCEE&_u=kvp1a3cfcf
2015-01-20 21:48:12 +08:00
回复了 philobscur 创建的主题 Apple 谁有 Apple Store 开业抢 T 恤的心得能不能分享介绍一下?
想要保证拿到,请提前一天去排队,带好帐篷、保暖物件,带好娱乐设备。苹果会安排活动供应商协助秩序,协调其他方面,保证你安全过夜。
想凑热闹拿到,当天早点去排队,提前几个小时即可,前多少都有衣服。

排在第一可以受到特别的礼遇,第二和第500没啥区别。

我上海排了3家店,都提前1天去的,认识了不少有趣的人。最近冬天,过夜有点冷,多准备点东西吧。
2015-01-05 10:03:25 +08:00
回复了 Chigogo 创建的主题 分享发现 真不知道,阿里为什么这么流氓
MAS上的是沙盒版本,没法这样做的……连浏览器扩展都要用户手动安装才能点击网页旺旺按钮打开Mac 旺旺。

有直接安装的非沙盒版本,内置浏览器插件。

@Chigogo 你如果用的是MAS的沙盒版本,绝对不是Mac旺旺干的……你要检查一下是否有其他原因,很大可能是日程软件里面的某个邮件带了一个app附件。你有没有通过邮件和朋友交流过app软件的习惯呢?

从国内软件的水平来评价这款 Mac旺旺,已经是很小清新了。
2014-11-27 10:38:51 +08:00
回复了 42b 创建的主题 上海 如果你也乘地铁,你会发现地铁里有很多好玩的 ;-))
@Maltazard 上海南站站 还好成为历史了。。
在依赖的项目持续开发的时候,原则上不推荐git submodule,会发现每次对应的更新还需要在主工程提交一次对应更新来保持版本的对应关系。
如果依赖项目很好的贯彻git flow之类的工作流,且仅依赖稳定版本,那么git submodule很合适。

题主没有说清楚用什么开发语言,针对单独的开发语言,会有一些更好的依赖包管理,用他们可能比git submodule更合适。
比如iOS可以用CocoaPods来依赖对应的分支或者tag/checkinid,这样死的活的依赖都不需要通过反复提交来跟进。
2014-11-27 10:26:11 +08:00
回复了 Livid 创建的主题 Android 不同 Android 手机的充电器混用会有什么问题?
http://zhi.hu/bgDz

完整解释看以上链接,给本帖子正确解答物理现象的人分别感谢。
最后不从物理角度,从设计的角度来解释这个问题:

2 现代设计理念已经确定了接口相同即可混用的原则,所以可以大胆混用。
在个人站点,@livid 作为站长有权力做任何事情,包括不公平或者独裁的,看不惯的人可以离开。我和 @livid 在老罗的看法上应该是反的吧,不过我还是觉得 @livid 有权做任何事情,包括楼主不喜欢的事情,包括不符合 “我们的愿景” 的事情:

Our Mission
V2EX 的使命是为创意工作者打造一个最好的社区,他们在这里可以获得灵感,分享想法,找到伙伴,获得通向目标的加速度。
V2EX's mission is to create the best place for creative people. A place where they can get inspired, sharing ideas, finding partners, and gaining momentum on goals.
2012-05-22 12:19:29 +08:00
回复了 ipopo 创建的主题 分享发现 Moke (墨客) “粉墨”登场!
我可以说脏话吗?
广州有现场寄存的,貌似上海现在也有的,听说。
我08年6月上海面签,11年3月广州面签,算有点经验。

比如约2点,请提前2小时或者更多去门外指定地点排队,基本上就是一层一层排队进去的,因此准时到基本上不知道排到什么时候了。其次,少带点东西,可以让朋友陪你来,帮你拿东西,不能寄存的话就都扔给朋友。上海广州都在闹市区,附近麦当劳肯定有啦。
我的面签经验是,材料准备充分、仔细,不要有自相矛盾的地方。英语是要准备但不用害怕,说得太流利,人家反而怀疑你有移民亲向;无法沟通,人家想你怎么去美国呆呢?因此,正常水平交流即可,如果怕紧张就实现准备一些关键词,比如你关于你简历上的信息、你去美国的目的或者计划等。实在说不下去用中文单词补充一下绝对没有问题。
我个人的体会告诉我,不需要什么中介,B1/B2之类的签证按照网站上的介绍准本所有可能的材料就行了。我目前还没有被拒签的经验。我一个前同事拒签的原因是材料上入职的年份写错了,被对方盯着问就慌了,再次重新准备就顺利通过。
签证类型:B1/B2
按照网站上的信息填写DS160,准备对应的照片。
材料按照列表所示的尽可能多准备,有原件的要准备一份复印件。

财产证明需要有房产、汽车、银行存款,如果你什么都没有,那么用你父母的材料,并提供证明你们亲属关系的材料。

学校证明直接去学院老师问,可能要找学生处、教务处之类的开证明,证明你是该校/学院的学生,保留学籍,去美国后会回来继续念书等等。我觉得学校不会为难你吧。

以上所有材料必须真实有效,符合事实。如果有笔误、自相矛盾的地方请自行仔细核对,否则可能面签的时候被质疑。

面签的时候:
1 提前去排队,预约时间实际上需要多次排队才进去的。
2 除了准备材料,尽可能的少带东西,方便安检。
3 适当准备一些英语对答,不需要背诵得十分熟练,能够回答出来即可,适当准备一下比较重要的关键单词就够了。
4 面签的时候不用紧张,保持平常心,对方要什么材料就给什么,问什么就直接回答即可。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   931 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 21:17 · PVG 05:17 · LAX 13:17 · JFK 16:17
Developed with CodeLauncher
♥ Do have faith in what you're doing.