不要提前优化...一边写一遍想着优化那样项目没法写下去的，用 web 有很多现成的轮子 美观又易用

额 神经网络+1

@kingmo888 (⊙﹏⊙)....我不是做 python 的（ python 的并行库我都没用过） 只是做数模比赛做多了对 numpy 和 pandas 熟悉一点.... java 的 hadoop 我可能还能帮你看看...

老哥 你别老复杂化问题啊.....loc 和 iloc 要少用 效率很低的
In [17]: def test():
...: array = []
...: other = []
...: for i in xrange(1000000):
...: [TAB]other.append(i)
...: [TAB]year = np.random.randint(100) + 2000
...: [TAB]month = np.random.randint(12) + 1
...: [TAB]day = np.random.randint(28) + 1
...: [TAB]array.append(datetime.datetime(year, month, day))
...: narray = np.array(array)
...: flag = datetime.datetime(2015, 5, 3)
...: df = pd.DataFrame()
...: df['date'] = narray
...: df['other'] = other
...: print df[narray[:]<=flag][-5:]
...:

In [18]: %timeit test()
date other
999979 2006-07-05 999979
999980 2012-09-19 999980
999981 2010-05-13 999981
999990 2007-10-14 999990
999996 2008-10-19 999996
date other
999979 2002-08-01 999979
999983 2001-10-01 999983
999984 2007-04-05 999984
999988 2014-04-21 999988
999991 2008-01-06 999991
date other
999977 2004-05-04 999977
999981 2004-05-05 999981
999990 2003-10-04 999990
999991 2003-03-28 999991
999992 2002-12-09 999992
date other
999964 2006-12-13 999964
999970 2012-07-07 999970
999971 2009-12-15 999971
999976 2004-07-22 999976
999982 2009-11-14 999982
1 loop, best of 3: 4.58 s per loop

In [19]:

...我把数据量调到了 100W 然后试的
In [8]: def test():
...: array = []
...: for i in xrange(1000000):
...: year = np.random.randint(100) + 2000
...: month = np.random.randint(12) + 1
...: day = np.random.randint(28) + 1
...: array.append(datetime.datetime(year, month, day))
...: narray = np.array(array)
...: flag = datetime.datetime(2015, 5, 3)
...: print narray[narray[:]<=flag][-5:]
...:

In [9]: %timeit test()
[datetime.datetime(2012, 12, 11, 0, 0) datetime.datetime(2009, 5, 26, 0, 0)
datetime.datetime(2014, 6, 12, 0, 0) datetime.datetime(2008, 11, 23, 0, 0)
datetime.datetime(2010, 12, 12, 0, 0)]
[datetime.datetime(2009, 4, 8, 0, 0) datetime.datetime(2013, 2, 10, 0, 0)
datetime.datetime(2008, 2, 4, 0, 0) datetime.datetime(2010, 11, 2, 0, 0)
datetime.datetime(2005, 8, 27, 0, 0)]
[datetime.datetime(2004, 6, 19, 0, 0) datetime.datetime(2010, 5, 7, 0, 0)
datetime.datetime(2012, 5, 15, 0, 0) datetime.datetime(2012, 6, 7, 0, 0)
datetime.datetime(2000, 1, 5, 0, 0)]
[datetime.datetime(2014, 11, 6, 0, 0) datetime.datetime(2005, 9, 15, 0, 0)
datetime.datetime(2008, 11, 5, 0, 0) datetime.datetime(2007, 6, 9, 0, 0)
datetime.datetime(2003, 11, 10, 0, 0)]
1 loop, best of 3: 4.18 s per loop

...不会用 v2 的贴图..直接上代码了 5000 次循环秒出 <br>
import datetime
import numpy as np

if __name__ == '__main__':
array = np.array([])
for i in xrange(5000):
year = np.random.randint(100) + 2000
month = np.random.randint(12) + 1
day = np.random.randint(27) + 1
array = np.append(array, datetime.datetime(year, month, day))
end = datetime.datetime(2050, 5, 3)
print array[array[:]>end][-5:]

搞这行你这学历很吃亏的....而且技术上一般也是要发过 paper 或者 kaggle 打比赛有个比较好的成绩吧....另外老哥你简历里面博客连接有问题

……我好奇的时候找工作的时候别人要看你 github 你怎么介绍这项目……

java nio MappredByteBuffer

@ainimuyan 那要这么说，我也看过姚班去 CMU 的，人家做机学深学编译器 这已经不是一个层次的了

好多鸡汤啊.....

@jych1224 这两者不能换位啊....企业是强势方啊....

去学 six 吧 直接支持多个版本就好了，现在 2 系的库怎么说还是全一些吧....虽然都在向 3 转

zookeeper 的授权我觉得挺好懂的啊.....而且不也有用户名+密码形式吗？ IP 白名单不更直白吗

@anonymoustian 我说详细一点吧，我觉得 60s 1~2G 的 IO 单台机器应该是吃得消的，所以直接在采集机器上跑生产者 另外关于 zookeeper 因为只有这一个生产者，所以它的稳点性肯定很重要的， kafka 依赖于 zookeeper ，你可以在同一台机器上直接跑 zookeeper ，最好它能是 leader(因为生产者肯定会频繁请求事务，事务只有 leader 处理。 follower 只处理请求) ，这样消息延迟就会降低....不要抖动就是说你 zookeeper 服务器的网得稳定，频繁发生新的选举的话之前的请求和事务都会阻塞的，运气差还可能旧操作被丢弃... PS 我没上过实际生产环境....很多知识都是书上的，你参考就好.....

应该不需要 flume 直接在采集机器上跑 kafka 当生产者 不过要注意配置好 zookeeper 这个节点最好不要经常抖动或者老选举

学生党，个人的一点愚见