推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
yxy2829
V2EX  ›  Python

假设有一个爬虫,从网络上获取数据的频率快,本地写入数据的频率慢,使用什么数据结构好?

  •  
  •   yxy2829 · May 18, 2018 · 5224 views
    This topic created in 3104 days ago, the information mentioned may be changed or developed.
    面试遇到的问题
    16 replies  •  2018-05-21 13:30:20 +08:00
    xshwy
    xshwy
    May 18, 2018
    1
    丢缓存慢慢写
    wuqiangroy
    wuqiangroy
    May 18, 2018
    2
    中间加一个 redis
    Hopetree
    Hopetree
    May 18, 2018
    3
    队列
    Ultraman
    Ultraman
    May 18, 2018 via Android
    4
    如果不是面试的话……把获取数据的频率放慢点
    Luckyray
    Luckyray
    May 18, 2018 via iPhone
    5
    数据结构差别不大吧……用最简单的数组?多加几个硬盘应该更好使
    zarte
    zarte
    May 18, 2018
    6
    看获取到的数据量,如果多无解的,除非降低爬虫爬取速度。少可以缓存队列啥的。
    xiaol825
    xiaol825
    May 18, 2018
    7
    如果进来的数据量远大于能写入的,队列只能缓解。还是要想办法优化数据写入的速度才行。
    q9REUgpVVCU77pWj
    q9REUgpVVCU77pWj
    May 18, 2018
    8
    网络 IO 比本地 IO 快?还真没碰到过。一般都爬取的时候多开点,扔队列里慢慢写倒是有的。
    Leigg
    Leigg
    May 18, 2018 via Android
    9
    保存到数据库,开多线程写。
    关数据结构什么事?
    goreliu
    goreliu
    May 18, 2018 via Android
    10
    意思应该是这样,比如从网络上获取每一千份数据,写入一次本地数据,所以前者频率更高。可以使用双 buffer,一个满后,切换 buffer,将满的写入硬盘后清空,这样互不干扰。具体 buffer 是数组、队列还是更复杂的结构,要看具体数据格式。
    tabris17
    tabris17
    May 18, 2018
    11
    究竟是频率还是效率

    如果是频率的话,实在看不出两者有什么相互影响的关联
    337136897
    337136897
    May 19, 2018
    12
    多买点固态硬盘
    jssyxzy
    jssyxzy
    May 19, 2018
    13
    message queue
    写多开几个线程.
    jssyxzy
    jssyxzy
    May 19, 2018
    14
    说错了,
    没看清楚,如果写比较慢,如果不管也可以实时写;
    不过估计题主的意思是写的放在一起写, 那可以做一个 batch 写,每个一段时间写;其他时间写线程休眠即可.
    gabon
    gabon
    May 20, 2018 via Android
    15
    生产者消费者模型,blockingqueue,redis 缓存,kafka 队列,要不加内存,要不加硬盘
    Nick2VIPUser
    Nick2VIPUser
    May 21, 2018
    16
    是否可以这样理解这个题目:
    有一个爬虫,本地采用数据结构 A 存数据,
    由于从网络上获取数据的频率快,本地写入数据的频率慢,这里做一个假设:
    十秒钟获取 1000 条数据,但是十秒钟才能插入一次数据这样的频率,
    因此,在插入数据之前,这 1000 条数据采用数据结构 B 来保存
    意味着必须批量插入到本地的数据结构 A 中,
    试着思考一下这个需求:用什么数据结构好,也就是 A 和 B 应该是什么数据结构呢,什么数据结构实现了这种场景下最优时间复杂度和空间复杂度?


    这个题目还真不好理解...
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4320 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 08:50 · PVG 16:50 · LAX 00:50 · JFK 03:50
    ♥ Do have faith in what you're doing.