访客的请求可能瞬间增加,如何不超过api的限制呢?
|
dndxJun 29, 2013
1
如果大多数访客会访问重复的商品,缓存。
否则只能找亚马逊提高限额。 |
|
msg7086Jun 29, 2013
2
每秒1次,每分钟2000次,1分钟多少秒来着
每秒1次,一天就能有几万次。商品才多少个……重复数据当然直接缓存。 另外可以通过多个apikey和多个源IP来绕开限额 |
|
3
|
|
jackyzJun 29, 2013
5
比如,不用api?
|
|
horsleyJun 29, 2013
6
sleep 消息队列
|
|
013231Jun 29, 2013
8
我不瞭解亞馬遜商品API, 不過我很好奇為什麼有每秒1次和每分鐘2000次這兩個限制. 有了每秒1次限制, 每分鐘限制應該<=60呀.
|
|
yfdyh000Jun 29, 2013
9
存队列,延迟、合并请求。没用过,猜测楼主想说每分钟2000项。
|
|
suren1986Jun 29, 2013
10
用redis实现一个锁,抓页面之前加锁,过期时间为1s。
|
|
kepengJun 29, 2013
11
22
|
|
otakustayJun 30, 2013
12
如果只是单个页面,且不访问amazon接口这页面对用户来说没价值的话,外面nginx上做个throttle就搞定了
如果是多个页面都用上amazon API,且没连上API这页面用户还是要看的话,在API级别上自己做throttle,这个比较麻烦,所以干脆再把这个API代理一下做成一个http service,再上nginx做throttle- - |
|
skydiverJun 30, 2013 via Android
13
一天2000次吧……
|
|
RelativeLayoutJun 30, 2013 via Android
14
挂个goag……或者bae代理,然后模拟百度或者谷歌的爬虫。很多爬取问题迎刃而解。。
|