请教一下，想找人爬金融管理总局 2020 起所有的处罚公开表，收费几何

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 1107 days ago, the information mentioned may be changed or developed.

https://www.cbirc.gov.cn/cn/view/pages/ItemList.html?itemPId=923&itemId=931&itemUrl=zhengwuxinxi/xingzhengchufa.html&itemName=%E8%A1%8C%E6%94%BF%E5%A4%84%E7%BD%9A

需求：想要获取 2020 年-2023 年金融监管总局（含地方分局）所有处罚公开表
问题 1：看了下格式好像不完全统一，大部分是表格，也有全文本，保存为什么格式比较好，会不会比较难搞？
问题 2: 合理收费大概是多少

公开表

总局

格式

收费

48 replies • 2023-11-09 11:08:21 +08:00

linvaux

Oct 25, 2023

敢爬 gov ，纯属作死

WeiPong

Oct 25, 2023

按年收费

Granado

Oct 25, 2023

建议不收费

lisxour

Oct 25, 2023

@linvaux 有啥问题吗
1. 公开信息
2. 没违反网站数据使用说明
3. 没侵权行为

wanmyj

Oct 25, 2023

弱弱问下，这种 gov.cn 的公开数据真的不能被爬嘛？
老美的*.gov 应该随便爬吧

Endocryne

Oct 25, 2023

有机构专门做过监管处罚分析的，所以肯定都有人爬过的

https://www.pwccn.com/zh/insurance/publications/analysis-regulatory-penalties-insurance-dec2021.pdf

lisxour

Oct 25, 2023

粗略看了一下，有 JSON 数据，有附件文件，没验证码，代码没啥加密，不包含后期统一格式数据提取的话，150-300 可接受，超 500 就纯大冤种了，按我自己的时间性价比的话 200-250 （我不接单！！！我不接单！！！我不接单！！！我只是有爬虫经验）

Endocryne

Oct 25, 2023

@lisxour 好的，谢啦，如果有大佬能接单也欢迎联系哈

wpyfawkes

Oct 25, 2023

我知道的风险有两个:
1. 如果没控制好请求频率,导致网站无法访问.那就是严重破坏计算机系统罪.
2. 如果网站有漏洞,能爬到一些不能公开发布的文件.那就是非法取得国家秘密罪.
建议找个境外的老哥接单.🤣

bkmi

Oct 25, 2023 via Android

@lisxour 做爬虫被判刑的又不在少数，建议去了解下

scorpion91

Oct 25, 2023

@lisxour 中国讲这些是没用的，说你犯法就犯法

dufldylan1

Oct 25, 2023

@wpyfawkes 然后被承德的老哥们接单

evan9527

Oct 25, 2023

风险太高。
刑不可知，威不可测

lun9

Oct 25, 2023 via iPhone

那么大风险才几百块，懒得接，哈哈哈

tom8

Oct 25, 2023

爬着爬着处罚名单里面应该就有自己的信息了

tool2d

Oct 25, 2023

码农先做爬虫最好就是免费，一收费风险会直线上升。

一个没任何加密的爬虫项目顶天收 1~2k ，你也发不了财，直接变成一个潜在的背锅侠。

5dang

Oct 25, 2023 via iPhone

主要是含表格，而且各地分局不一样，这个比较扯。
TB 和 XY 都有商务接单，去询个价格呗。

MajestySolor

Oct 25, 2023

兄弟胆子有点大啊👍

lrabbit

Oct 25, 2023

别在网上乱说，用个代理爬，谁知道你爬的，没啥风险，而且这种数据公开的

netnr

Oct 25, 2023 via Android

爬取数据须遵规
https://www.spp.gov.cn/llyj/202202/t20220210_543998.shtml

从三个方面划定数据爬虫技术合法使用的边界：
一是合法的网络数据爬取应限于对开放数据的获取。如果网络爬虫获取非开放的数据，便涉嫌违法甚至犯罪；
二是合法使用的数据爬虫技术不应具有侵入性，可以说，爬虫的侵入性是其违法性的主要体现；
三是数据爬取应当基于正当目的，对开放数据的获取可能因不符合正当目的而具有违法性。对开放的非商业性数据的爬取应当要求符合公共利益之根本目的。对开放的商业性数据的爬取则可借鉴版权法上的合理使用原则，要求基于合理利用目的。

tool2d

Oct 25, 2023 via Android

@lrabbit 不收费没风险，收了钱如果 OP 因为某些原因被抓，会顺着银行卡找过来。

bluetree

Oct 25, 2023

做好自己这边的风险隔离，之后就干呗，做好爬虫的保险装置，gov 流氓级别，祝你好运

netnr

Oct 25, 2023 via Android

大多数是第二条，没控制好频率，搞成压力测试

thinkm

Oct 25, 2023

坏消息：爬到自己了

netnr

Oct 25, 2023 via Android

博客园吐槽百度爬虫

https://mp.weixin.qq.com/s/UESyzaqT38dc2WWwQbDq2Q

iorilu

Oct 25, 2023

关键频率一定要低

你要知道, 政府网站大多都是 N 年前随便凑得系统

根本没任何高并发能力, 可能 10 个并发就能拖垮, 到时候你就麻烦了

520discuz

Oct 25, 2023

爬=攻击等着那啥吧...

potatowish

Oct 25, 2023 via iPhone

很多事都是秋后算账，当时你觉得没事，事后揪住这个小辫子搞你一波

xuhuanzy

Oct 25, 2023

政府小水管要是崩了必抓人

LudwigWS

Oct 25, 2023 via iPhone

@lisxour 时间不值钱？写这种定制需求代码要稳定运行怎么也得一天吧，不是出于学习爬虫目的真懒得写，上班的很难为了几百块写这些代码

zbwsmile

Oct 25, 2023 via iPhone

可以加我微信聊

tramm

Oct 26, 2023

1 分钟请求一次应该不要紧

nodejsexpress

Oct 26, 2023

@lisxour 还是留给你做吧.

lisxour

Oct 26, 2023

@LudwigWS 可能水平问题吧，这样的网站，只抓数据的话，代码 + 调试，不超两小时。。。如果有明码 JSON ，不需要破解 JS 的情况下，这种网站我中途都不需要调试的，20-30 分钟写完代码，一次就过😂

lisxour

Oct 26, 2023

@LudwigWS 这类单通常不具备完善的合同制或者压根没合同，而且从我这么久的经验来说，绝大部分人（客户）都对需求说明比较弱，很多东西说不清楚，所以需求沟通时间成本和中间各种琐碎皮毛的修改才是占用时间的大头，不是代码时间，核心代码 1/3 时间，其他沟通+修改 2/3 时间，这都常有的事。屁大点的爬虫，你以沟通等的理由说加钱吧，客户也不会接受，不加钱吧，自己也不划算。