1069401249
V2EX  ›  问与答

面试先笔试, Linux 考了一个 nginx 的 log 中 ip 出现最多的 10 个 ip 是什么。。。

  •  
  •   1069401249 · Apr 6, 2017 · 8639 views
    This topic created in 3511 days ago, the information mentioned may be changed or developed.

    真的不会啊,难道你们用 linux 都这么溜吗。

    Supplement 1  ·  Apr 7, 2017
    我面的岗位是后端开发,岗位要求是熟悉常用的 linux 命令,这种命令我没用过,所以 GG 了;发出来算是给大家出了个好题目吧。
    @mcfog 的差不多可以了,但是只找出了出现次数最多的单词,并没有匹配是不是 ip 地址。
    63 replies  •  2017-04-08 11:31:26 +08:00
    jackon
    jackon
    Apr 6, 2017 via iPhone
    1
    搜索引擎的爬虫 IP?
    jonah
    jonah
    Apr 6, 2017
    2
    主要是考察一些常用的 shell 文本处理命令,比如 awk 、 sed 、 sort 、 uniq 之类的,可以搞定
    xiaopc
    xiaopc
    Apr 6, 2017 via Android
    3
    cat grep wc?
    noelyang
    noelyang
    Apr 6, 2017
    4
    正则匹配 ip 地址,然后分别计数,最后取计数最多的 ip
    难度不高吧
    1069401249
    1069401249
    OP
    Apr 6, 2017
    5
    @noelyang 思路都知道,但是 linux 命令没用到这么深。。。
    ProjectAmber
    ProjectAmber
    Apr 6, 2017❤️4
    6
    grep | awk | sort | uniq -c | sort | head -n 10
    Hozzz
    Hozzz
    Apr 6, 2017
    7
    awk
    est
    est
    Apr 6, 2017❤️11
    8
    cat nginx.log | 实习生
    conoha
    conoha
    Apr 6, 2017
    9
    ...熟悉应该还好?用脚本就是 2L, 如果是程序,那就是过滤每条日志获取 ip , ip2long, 然后就转变成最多的 K 个数了
    imganquan
    imganquan
    Apr 6, 2017
    10
    这是 Linux 基础技能吧。

    这都不会还应聘毛的 Linux 技术岗。。。。
    ProjectAmber
    ProjectAmber
    Apr 6, 2017❤️1
    11
    上面写错了, sort -> sort -n 。
    不让看手册的话我写不出来, awk 用的不是太熟。
    dremy
    dremy
    Apr 6, 2017
    12
    cat access.log | awk '{print $1}' | sort | uniq -c | sort -r | head -n 10
    拿走不谢
    banditsmile
    banditsmile
    Apr 6, 2017
    13
    cat file_name|awk "{$a[$1]++}END{for (x in $a){print $a[$x],$x}}|sort -k2|head -n 10 "
    伪代码,不能运行,不要尝试

    另外用 grep 和 unique 的都是忽悠
    1069401249
    1069401249
    OP
    Apr 6, 2017
    14
    @imganquan 应聘的后端开发,,按道理说是应该熟悉常用的 linux 命令,只是这题对我来说有点深,所以发出来大家讨论下
    mcfog
    mcfog
    Apr 6, 2017
    15
    有 google 会

    awk '{a[$1]++} END { for (i in a) {print i, a[i]} }' access.log | sort -rnk2 | head -10

    没有的话算了还是面别家吧……
    param
    param
    Apr 6, 2017 via Android
    16
    sort | unic -c | sort -n
    relaxgo
    relaxgo
    Apr 6, 2017 via iPhone❤️1
    17
    直接用 goaccess
    Suddoo
    Suddoo
    Apr 6, 2017
    18
    不 google 还真不会,虽然用 linux 2年了,但上面这几个命令用得很少, bash 语法也不熟悉,因为我的目标职位不是运维。
    U7Q5tLAex2FI0o0g
    U7Q5tLAex2FI0o0g
    Apr 6, 2017
    19
    如果是面试运维,这种答不上来估计会丢人
    单纯面试后端开发,我觉得没必要一定会,当然会更好,但不会还可以 google
    wc951
    wc951
    Apr 6, 2017 via Android
    20
    现在难道都不用日志采集,而是自己去服务器上查日志?
    ihuotui
    ihuotui
    Apr 6, 2017 via iPhone
    21
    @wc951 哈哈,或者面试官就是这样的。
    dongxiaozhuo
    dongxiaozhuo
    Apr 6, 2017 via iPhone
    22
    @1069401249 后端开发,直接上 py 脚本岂不美哉。非要用 shell 的面试,不去也罢。
    fsgmhoward
    fsgmhoward
    Apr 6, 2017 via iPhone
    23
    这个要考正则的吧
    Suddoo
    Suddoo
    Apr 6, 2017
    24
    @wc951 对啊,现在已经不是刀耕火种的年代了啊。
    ming2050
    ming2050
    Apr 6, 2017 via iPhone
    25
    数据量小我能直接写,如果数据量大我宁愿拖到 hdfs 再说
    echo1937
    echo1937
    Apr 6, 2017
    26
    老派 Linux 运维必考内容,他如果没有限定工具的话,写个 py 的实现我觉得也可以给分。
    takeoffyoung
    takeoffyoung
    Apr 6, 2017
    27
    如果考操作的话,上面说了那么多。
    如果考算法的话,什么分治合并的模糊算法,什么 hash+heap sort
    都是可以搜到答案的
    C0VN
    C0VN
    Apr 6, 2017
    28
    如果不是考 shell ,用别的编程语言实现也没什么难度吧。
    ryd994
    ryd994
    Apr 6, 2017 via Android
    29
    @dremy
    @ProjectAmber
    第二个 sort 该 sort -n 吧
    jy01264313
    jy01264313
    Apr 6, 2017
    30
    很全面的一道题目
    q397064399
    q397064399
    Apr 6, 2017
    31
    如果是后端, Python 明显比 shell 有优势,脚本
    yuedingwangji
    yuedingwangji
    Apr 7, 2017
    32
    这太简单了吧 , sort -n | uniq -c | sort -n 或者 awk 然后在 sort -n
    DravenJohnson
    DravenJohnson
    Apr 7, 2017
    33
    为什么都在 sort ,难道这题不是问 IP 地址的么?
    flowfire
    flowfire
    Apr 7, 2017 via iPhone
    34
    @DravenJohnson 23333 我也想知道到底问的是如何获取访问最多的 10 个 ip 还是问的是 10 个 ip 具体是啥
    sunsol
    sunsol
    Apr 7, 2017❤️1
    35
    @flowfire 我也一样,第一反应是 127.0.0.1 ,然后在想其它 9 个是什么
    ichou
    ichou
    Apr 7, 2017 via iPhone
    36
    @q397064399 然而很多机器上并没有 python
    sunsol
    sunsol
    Apr 7, 2017
    37
    @ichou linux 上没 python 的还真少见
    yaxin
    yaxin
    Apr 7, 2017
    38
    awk '{print $1}' /path/to/nginx | sort | uniq -c | sort -r -n -k 1 | head -10
    用多了就熟练了
    blacklee
    blacklee
    Apr 7, 2017
    39
    楼上 yaxin 的应该是正确答案,里面后一个 sort 我不看文档也不懂。
    awk + sed 就能出一本 500+页的书,但是这个问题所需要的 awk 很基础。
    另外就是多会一些 linux 的基础命令,会对你的实际工作产生相当不错的效率提升。
    Hozzz
    Hozzz
    Apr 7, 2017
    40
    @sunsol 核心主机上没 python 不要太正常,装的东西越少越好越稳定
    est
    est
    Apr 7, 2017❤️1
    41
    @ichou
    @Hozzz

    来来来,报发行版。我就不相信什么发行版没 python 。
    shyling
    shyling
    Apr 7, 2017
    42
    连各种 docker 的基础镜像里都自带的 python ,不知道有些人的系统是什么
    Hozzz
    Hozzz
    Apr 7, 2017
    43
    @est 刚刚回头看了下,生产主机上全是 AIX 和 HPUX (没有 python ),晚点看看 oracle 一体机_(:з」∠)_
    est
    est
    Apr 7, 2017
    44
    @Hozzz 喂喂喂 UNIX 就不要冒充 linux 好不好。
    momocraft
    momocraft
    Apr 7, 2017
    45
    在 linux 中只见过 coreos 没 python.
    Felldeadbird
    Felldeadbird
    Apr 7, 2017
    46
    运维这个很常用啊。 nginx 和 apache 生成的访问日志 格式都是一致的。楼主面试的运维,这个答不上就不是合格的运维了
    loryyang
    loryyang
    Apr 7, 2017
    47
    必须允许用 man 吧,否则有些参数不常用的,肯定不会记得那么清楚的
    反正很多时候都是 man 一下,再写,那么多参数,如果不是天天用,过几天就忘记了
    killerv
    killerv
    Apr 7, 2017
    48
    很多人没看到,楼主应聘的是后端开发,我觉得如果能用其他后端语言解出来这道题,没有问题,非要用 shell 就有点扯了,毕竟后端不是专业运维。
    Famio
    Famio
    Apr 7, 2017
    49
    好像很多人没看清楼主的问题。
    如果是 access.log 的话,我觉得最多的 10 个 IP 应该是爬虫。
    artandlol
    artandlol
    Apr 7, 2017
    50
    awk '{print $1}' /usr/local/nginx/logs/access.log |sort |uniq -c|sort -rn|head -10
    or
    awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' /usr/local/nginx/logs/access.log | sort -k2 -nr | head -n 10
    est
    est
    Apr 7, 2017
    51
    @Famio 不一定。我这边是省级移动 4G 出口 IP 。
    ichou
    ichou
    Apr 7, 2017 via iPhone
    52
    @est 我们的生产环境全都没有,因为我们是 docker ,哈哈哈,连续 make gcc 都没有
    jingniao
    jingniao
    Apr 7, 2017
    53
    那么像这样的需求,用 python 写,多久写出来算是合格呢?
    est
    est
    Apr 7, 2017
    54
    @ichou 你们 log 是直接写入 docker 镜像的?
    ichou
    ichou
    Apr 7, 2017 via iPhone
    55
    @est openresty 直接塞进 kibana
    est
    est
    Apr 7, 2017
    56
    @ichou 那还说个毛。。。。你们 docker 里没有 python , docker 外是什么发行版呢? coreos ?
    xiaket
    xiaket
    Apr 7, 2017
    57
    @est 抬杠的话, 有个 alpine... 用这个当 docker base 的话连 bash 都没有... - .-

    当然你应该知道我是 py 粉的...
    est
    est
    Apr 7, 2017
    58
    @xiaket 我说你们 docker 所在服务器上跑的是什么 os ?

    我也用 alpine 啊。
    xiaket
    xiaket
    Apr 7, 2017
    59
    @est 哼,你先说的是发行版...
    Jaylee
    Jaylee
    Apr 7, 2017
    60
    @artandlol 这两种都是正解
    veryyoung
    veryyoung
    Apr 7, 2017
    61
    作为面试官,这道题出了 N 次了,目前为止只遇到一个人做出来。

    然而基本每个人简历上都写了熟练使用 Linux 常用命令。
    ichou
    ichou
    Apr 7, 2017 via iPhone
    62
    @est 哈哈 其实我也是随口一说的,之前我还真不清楚 python 已经成发行版标配了
    wdlth
    wdlth
    Apr 8, 2017
    63
    不应该加钱 ELK 么?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4818 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 134ms · UTC 02:08 · PVG 10:08 · LAX 18:08 · JFK 21:08
    ♥ Do have faith in what you're doing.