V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  sdushn  ›  全部回复第 31 页 / 共 120 页
回复总数  2398
1 ... 27  28  29  30  31  32  33  34  35  36 ... 120  
2021 年 2 月 7 日
回复了 sdushn 创建的主题 Python 请教大佬们如何用 pandas 高效读取被分片的 csv 文件
@nano91 我去研究一下
2021 年 2 月 7 日
回复了 sdushn 创建的主题 Python 请教大佬们如何用 pandas 高效读取被分片的 csv 文件
@learningman 流下了没有技术的泪水,C++更不会写了
2021 年 2 月 7 日
回复了 sdushn 创建的主题 Python 请教大佬们如何用 pandas 高效读取被分片的 csv 文件
@starzh
@nano91
目前是计划先一次性读取,在给 pandas 之前处理好,按行读取,按分片逻辑把竖着的表处理成横着的,最后一次性给 pandas 转 dataframe
2021 年 2 月 7 日
回复了 sdushn 创建的主题 Python 请教大佬们如何用 pandas 高效读取被分片的 csv 文件
@lpts007 上下游都搞不定啊,难顶,只能自己处理了,又赶上鄙人不擅长 python T-T
2021 年 2 月 7 日
回复了 sdushn 创建的主题 Python 迫于不会,请教大佬们如何用 pandas 分片读取 csv 文件
### 背景
使用 pandas 库处理一个性能参数的 csv 文件,但是 csv 文件是分片的,格式如下

| time | A | B | C | D |
| ---- |---|---|---|---|
| 20:00| 0 | 1 | 2 | 3 |
| time | E | F | G | H |
| 20:00| 4 | 5 | 6 | 7 |
|...|

现在想读成如下格式,存成一个 dataframe 便于下游继续处理

| time | A | B | C | D | E | F | G | H |...|
| ---- |---|---|---|---|---|---|---|---|---|
| 20:00| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |...|

### 现在方案及问题
现在是通过跳过 n 行读取,然后拼接的方案,会存在多次调用 pandas.read_csv,性能太差了,想请教一个 python 大佬们有什么高效的办法
``pandas.read_csv(target_file, skiprows=skip_rows, nrows=range, skipinitialspace=True)
skip_rows = skip_rows + range
``
2021 年 2 月 7 日
回复了 susanzhou 创建的主题 创业组队 招募兼职合伙人
果然差的不只是一个程序员
2021 年 2 月 6 日
回复了 0gys 创建的主题 职场话题 当管理真的好吗?
看是什么类型的吧,技术型管理感觉是可以接受的,更像是架构师+管理,负责需求准入,任务拆分,技术需求推进,开发质量保证,技术选型等等,会比较累,但是不会丢下技术
再来十块钱的吧,没看够
哪里能买到您的著作?
挺好看的
1 ... 27  28  29  30  31  32  33  34  35  36 ... 120  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2632 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms · UTC 14:49 · PVG 22:49 · LAX 07:49 · JFK 10:49
♥ Do have faith in what you're doing.