网站跑在 AWS S3 上面不知道能否访问： https://kmppp.com
技术栈介绍和价值一个亿的核心代码开源在： https://github.com/slashbit/spider-less
至于功能，动图走起！
爱意满满的作品展示区。
This topic created in 2888 days ago, the information mentioned may be changed or developed.
Supplement 1 · Dec 16, 2018
附上架构图
24 replies • 2019-02-20 22:06:42 +08:00
 |
rayhyDec 15, 2018
1
弱弱地问一下楼主有没有试过用国内的云服务商提供的类似功能（比如腾讯云的云函数）来做这件事情？
|
 |
d5Dec 15, 2018 via iPhone
2
支持
|
 |
rayingechoDec 15, 2018
3
思路很棒，已 star
|
 |
abmin521Dec 15, 2018 via Android
5
量大的话需要 MQ 吧
|
 |
isCyanDec 15, 2018
6
AWS 全家桶实战，支持一个
|
 |
7
@abmin521 Message Queue 吗？嗯，可以用 AWS 的 SQS （ Simple Queue Service ），cron 函数将需要爬的任务筛选出来后，将消息扔到队列中，scrape 函数由队列消息触发
|
 |
SenventiseDec 15, 2018 via Android
8
建议防一下滥用，貌似可以访问墙外地址
|
 |
miaoDec 15, 2018
9
只能爬文字？
|
|
10
@Senventise 的确哈，因为爬虫访问“外网”是不受限制的...
|
 |
binarymannDec 15, 2018
12
不错不错，正好学习下 serverless
|
|
13
|
 |
teddDec 15, 2018
14
已订阅了个站的更新，谢谢分享🙏
|
 |
bbmmwan886Dec 16, 2018 via Android
15
貌似面向国外的 不知道会不会更新中文的 英文用起来还是不太习惯😅😅😅
|
|
16
@bbmmwan886 操作很简单啦 😊
|
 |
landiDec 17, 2018
17
网站很漂亮啊，ui 是自己设计的吗。。。
|
 |
dezhou9Dec 17, 2018 via Android
19
有点简单啊，高中生水平，朋友。已 star
|
 |
evanvaneDec 18, 2018 via Android
20
请问下，第二张图是怎么生成的？
|
|
22
@evanvane 在这里画的： https://cloudcraft.co/
|
Select Language