推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2400 天前的主题，其中的信息可能已经有所发展或是发生改变。
pandas 读写 txt 时遇到的两个问题：
1、txt 的分隔符为|，文档使用 gbk 编码，由于解码时存在特殊字符的 encode 后的字符串也有“|”，导致有一些行析出的列长度大于其他长度，因而读取失败；
2、写入时，报错 UnicodeEncodeError: 'gbk' codec can't encode character '\u4dae' in position 151: illegal multibyte sequence
请问大神们，应该怎么搞
第 1 条附言 · 2018-06-04 14:10:19 +08:00
语句为：
data = pd.read_table(filename, sep ='|', skiprows=startline, header=None, encoding='gb18030', skip_blank_lines=True, dtype=str, error_bad_lines=False, warn_bad_lines=True)
data.to_csv(fw, index=False, encoding='gb18030', sep='|', header=False)
第 2 条附言 · 2018-06-04 14:14:28 +08:00
追加中间对data的操作，其实就是将部分列置为空，然后排序
for l in ln:
data.loc[:,l]=''
data.sort_values(by=[0,1,2], axis=0, inplace=True)
 |
1
shnj 2018-06-04 13:20:31 +08:00
第一个问题: 如果有问题的行不多且可以舍弃，可以使用 error_bad_lines 参数，ref: http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html
第二个问题没遇到过，但是网上有些解决方案，改变标准输出的默认编码应该可以解决。 |
 |
2
chesterzzy 2018-06-04 13:22:48 +08:00
先把 gbk 转为 utf-8 再说。
|
 |
3
RicardoScofileld 2018-06-04 13:48:05 +08:00
你指定在 read 的时候，指定 names，这样的话就不会报错了
|
 |
5
yeyu1989 OP @chesterzzy 这个怎么转？我附了语句了
|
|
6
yeyu1989 OP @RicardoScofileld names : array-like, default None 是指这个参数么。这个好像是列名？
|
 |
7
imzhong 2018-06-04 14:23:53 +08:00
.encode('utf_8') 试试，不行 用.encode('gb18030',errors='replace')把无法处理的字符换成‘？’
|
|
8
RicardoScofileld 2018-06-04 15:02:40 +08:00
@yeyu1989 对 你指定列名就好了
|
|
9
yeyu1989 OP @RicardoScofileld 我使用了参数 header=None，所有列名都是 0,1,2,3 这些好像。有影响吗
|
 |
10
flyingghost 2018-06-04 15:49:38 +08:00
sep 参数支持正则表达式。如果你的分隔符和字符串能用某种正则来做区分，那可以把单纯的"|"字符替换成正则来做分割。
第二个问题，这确实不是合法字符啊。最好是搞清楚来源是什么。很有可能是读时就读错了，最好解决掉。否则这行数据有可能是脏的。 |
|
11
RicardoScofileld 2018-06-04 16:40:08 +08:00
@yeyu1989 这是默认生成的，你最好自己指定
|
Select Language