• 请不要在回答技术问题时复制粘贴 AI 生成的内容
BeiChuanAlex
V2EX  ›  程序员

爬了 3534 个 Telegram 群/频道/机器人,却发现只有 6%的优质账号(开源所有代码和数据)

  •  1
     
  •   BeiChuanAlex · Jun 26, 2023 · 23866 views
    This topic created in 1227 days ago, the information mentioned may be changed or developed.

    背景:使用 Telegram 的时候,为了能找到一些有意思的、好玩的、纯粹资源分享的群和频道,总是很困难,尽管有些网站推荐了不少的群 /频道 /机器人,但是往往其中很多都已经过期了,甚至很多都注销了,也有一些变成了涩涩群、机场群,一个一个筛选起来很麻烦,所以决定用 Python 爬虫来解决这一问题。

    过程:用时一天时间,收集整理了很多网站数据,建立 URL 集合,使用 Scrapy 总共从十几个地址,爬了总计 3534 条数据。所有的数据及 SQL 已经放到文件 telegram_info.sql 中,爬虫代码放在了 telegram-groups-spider 文件夹里面。有需要的同学可以自行取用。

    结果:从 3534 个中,按照订阅数 /会员数排序,并排除了其他语言的账号只选择做中文内容的账号,也排除了包含:机场、Sex 、Gamble 、Politics 等内容,手工精选了 200 多个放在了下面的表格里,感兴趣的同学可以根据自己喜好选择加入。

    感悟:从数据来看,其中有很多是早已注销的群 /频道 /机器人,也有不是是灰黑产业的账号或者挂羊头卖狗肉的账号。精选账号大概只占到总数的 6% ,这个比例还是挺惊人的,中文的优质内容在 Telegram 还是相对匮乏,Telegram 在中文内容上更像是一个灰黑产的温床。虽然精选了 200 多个账号,但其中也有不少是羊毛,搬运,资源,影视,破解等内容,这些内容也是处于擦边球地带,真正优质的内容还会更少,当然这也限制与样本本身的质量,也许有不少好的账号还未被发现,也欢迎知道优质账号的同学能在 issue 留下它的链接。

    数据库截图

    GitHub 地址: https://github.com/alexbei/telegram-groups

    Supplement 1  ·  Jun 26, 2023
    为了方便大家查看,买了一个域名,添加了Github Page,现在可以直接网页看了,十分清爽:
    =====> https://www.tgqun.xyz/
    Supplement 2  ·  Jun 30, 2023

    这里是记录第二次结果的帖子(续作):

    https://www.v2ex.com/t/952123

    67 replies  •  2023-11-29 00:15:45 +08:00
    dilu
    dilu
    Jun 26, 2023❤️2
    1
    上 tg 不就是为了看 yellow Politics 以及小飞机嘛? doge
    pengtdyd
    pengtdyd
    Jun 26, 2023
    2
    Telegram 确实有不少黑灰内容
    Cheons
    Cheons
    Jun 26, 2023 via Android❤️1
    3
    我倒要看看除了 Sex 、Politics ,TG 上还有什么优质中文内容
    v2er4241
    v2er4241
    Jun 26, 2023
    4
    mark ,好东西,已 starred ,希望能持续更新!
    missdeer
    missdeer
    Jun 26, 2023
    5
    看了一眼精选的 6%,确实也不少注水的
    sunamask
    sunamask
    Jun 26, 2023
    6
    好项目,感谢!我找了一万年的歪屁股新闻终于有解决方案了~
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    7
    @Cheons 优质的中文内容不光是 Telegram 上很少,其他平台上也不多,只是 Telegram 上更少罢了,这个是生态决定的。
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    8
    @missdeer 确实也不少注水的,这也和样本数量及样本来源有关,目前能找到的 URL 集有限。
    gablic
    gablic
    Jun 26, 2023
    9
    可以把筛掉的 3334 条数据也发一下吗,学习学习
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    10
    @gablic 所有的数据都在 GitHub 项目的这个文件里面:telegram_info.sql
    kingwrcy
    kingwrcy
    Jun 26, 2023
    11
    star 了,能否直接把内容爬出来,这样没有 tg 环境的人也能看.
    ChainLock
    ChainLock
    Jun 26, 2023
    12
    start
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    13
    @kingwrcy 大部分的群 /频道 /机器人里面的内容都是日常闲聊的内容,对话内容爬出来也没有什么价值。
    Retas
    Retas
    Jun 26, 2023
    14
    电报上科技新闻类的频道都挺不错的,时效性比较高,没有软广浪费时间
    kingwrcy
    kingwrcy
    Jun 26, 2023
    15
    @BeiChuanAlex #13 对话的是没价值,我说的是分享软件 /硬件 /咨询类的
    tanmrs48
    tanmrs48
    Jun 26, 2023
    16
    看了下上边优质的很多都加过,最优质的比如羊毛白嫖都在小众的交流群里,我有一个想法是写一个程序可以每天监控群里的聊天记录,然后关键词定位,
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    17
    @kingwrcy 可以爬,有现成的接口。
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    18
    @tanmrs48 tg 有客户端接口,可以用这个来做
    opwwecccc
    opwwecccc
    Jun 26, 2023
    19
    高,实在是高
    garipan
    garipan
    Jun 26, 2023
    20
    确实不错!谢谢 po 主
    cooper2020
    cooper2020
    Jun 26, 2023
    21
    好玩的尝试。顺便提一句,__pycache__目录不必同步 git
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    22
    @cooper2020 谢谢提醒
    ysc666
    ysc666
    Jun 26, 2023
    23
    卧槽 真好!!!
    elechi
    elechi
    Jun 26, 2023
    24
    谢谢 OP ,回家慢慢看
    encro
    encro
    Jun 26, 2023
    25
    自从注册了 tg 账号,每天收到小姐姐相关短信。
    simon633
    simon633
    Jun 26, 2023
    26
    我是 APPDO 数字生活指南的频道主,非常感谢楼主的推荐~
    modao3
    modao3
    Jun 26, 2023❤️1
    27
    ios 鸡神-专注分享破解
    这个频道主被盗号的运营着了,建议删掉.发的文件可能不安全
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    28
    @modao3 好的,感谢反馈
    delete26
    delete26
    Jun 26, 2023
    29
    现在公开的群和频道大多都是黑产和色情了,早些年人少的时候都没有这些垃圾广告群,自从公开的群被大量机器人入侵用来自动发广告之后,很多群都变成私人群了
    ivstranger
    ivstranger
    Jun 26, 2023
    30
    仔细再筛选,估计 6%都不到(很荣幸上榜)
    modao3
    modao3
    Jun 26, 2023
    31
    再推一下我另外一个
    @recommend3
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    32
    @delete26 用户越多,管理的成本会直线上升,运营一个好的账号本身也是需要不小的成本,私人群确实能更方便的管理。
    zhuxc
    zhuxc
    Jun 26, 2023
    33
    start
    BRmeng
    BRmeng
    Jun 26, 2023
    34
    能不能偷偷扒点糟粕,我想批判一下😂
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    35
    @BRmeng 在项目的 telegram_info.sql 文件中可以自己看
    xpl8435
    xpl8435
    Jun 26, 2023
    36
    分享一个 TCL 家电内购群组,有需要可加: https://t.me/tcl_jiadian
    Tyrant1984
    Tyrant1984
    Jun 26, 2023
    37
    真是好东西啊,感谢楼主~~
    现在 TG 天天只能看看梯子为什么又崩了,感觉很浪费,现在可以好好用一下了
    hoor
    hoor
    Jun 26, 2023
    38
    TG 里面有讨论 xray ,sinbox 协议等很多知识,还有一些面板 jd 等。。。还有机器人可以玩,
    signal 却没有多少人用
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    39
    @hoor 科学上网相关内容的账号没有放到表格里,相关的账号里太多买卖机场的内容了,很难筛选。
    ethsol
    ethsol
    Jun 26, 2023
    40
    偷偷看看有什么优质的
    opengps
    opengps
    Jun 26, 2023
    41
    怪不得我至今觉得 tg 用不起来,原来比例这么低,我还没进去
    guazila
    guazila
    Jun 26, 2023
    42
    中国数字时代竟然不算涉政,不错。
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    43
    @guazila 已删除
    Jirajine
    Jirajine
    Jun 26, 2023❤️2
    44
    如何定义优质?随便扫了一眼,色情、piracy 很多,新闻频道要么涉政要么机场网络相关,币圈相关和菠菜也分不开。你这样筛选意义不大,既会包含“低质量”内容,也会漏掉“高质量”内容。
    什么内容算“高质量”取决于用户的需求,建议用更中立的方式,不要根据内容主题筛选,只把充斥 spam 刷屏、广告、废弃无管理等信噪比低的过滤掉就行。
    NotNEO
    NotNEO
    Jun 26, 2023
    45
    今日最佳帖子
    lewi
    lewi
    Jun 26, 2023
    46
    点赞!
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023
    47
    @Arvin567 谢谢
    lizhesystem
    lizhesystem
    Jun 26, 2023
    48
    好好好!
    jzyzcz
    jzyzcz
    Jun 26, 2023
    49
    telegram 上有些搜群的机器人,输入关键字,就会返回一些相关的群。

    很好奇他们是怎么实现的,是有可以爬所有公开群 /频道的官方接口吗?
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 26, 2023❤️1
    50
    @jzyzcz 应该是爬的,然后做成接口
    hanguofu
    hanguofu
    Jun 27, 2023
    51
    "买了一个域名" : 好评~~~ 楼主是个热心人!
    HungryOrangeCat
    HungryOrangeCat
    Jun 27, 2023❤️2
    52
    @jzyzcz 这个我研究过一段时间,他们是从一个群的聊天信息里提取 TG 链接然后循环迭代这个做一个广度优先搜索类似的过程,缺点就是很消耗 TG 账号,因为一个 TG 账号每天只能访问 200 左右群组 /频道
    invdan
    invdan
    Jun 27, 2023
    53
    感谢收录了我的两个群组😄
    simazilinVV
    simazilinVV
    Jun 27, 2023
    54
    你以为我上 tg 想干嘛
    RageBubble
    RageBubble
    Jun 30, 2023
    55
    感谢,本来想用爬虫自己去爬 tgstat ,telegram-store 这样的数据库,没想到你已经做好了。😘😘😘😘😘😘😘😘😘😘😘😘😘😘😘😘😘
    RageBubble
    RageBubble
    Jun 30, 2023
    56
    有一点没搞懂,为什么你说爬取了 5000 多个样本,但下载了 github 里面的 csv 后 excel 里打开只有 2209 行的数据?🧐
    RageBubble
    RageBubble
    Jun 30, 2023
    57
    @RageBubble #55 希望大佬能分享下全部的 5000 多条数据
    RageBubble
    RageBubble
    Jun 30, 2023
    58
    或者只给 3036 账号也可以,再次膜拜感谢😭
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jun 30, 2023
    59
    @RageBubble 只有 2000 多行数据是因为我用不能展示的关键字给过滤掉了,有太多的不适合展示的账号,就直接删掉了,最终只剩下这么多了,这还不是最终结果,最后一个一个点进去看,然后筛选,很费劲的。
    oddboy
    oddboy
    Jul 1, 2023 via Android
    60
    这属于在老鼠屎里舀清汤了,辛苦了大佬
    RageBubble
    RageBubble
    Jul 4, 2023
    61
    @BeiChuanAlex #59 大佬我还有个问题 我研究了一下 scrapy 代码 为啥你不直接数据上传到 supabase 的数据表里,而是单独使用本地的 PostgreSQL 数据库呢
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jul 4, 2023
    62
    @RageBubble 我也上传到了 supabase ,本地也有。但是这些数据全是原始数据,里面有大量的不适宜数据,不能直接公开。
    RageBubble
    RageBubble
    Jul 4, 2023
    63
    @BeiChuanAlex #62 噢噢 没事 到时候我自己再爬一次就是了
    giter
    giter
    Jul 29, 2023
    64
    请问楼主,Github 的 md 文件爬不出来结果是怎么回事?其它都能爬,就是 Github 不能爬。

    ```
    INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
    INFO: Closing spider (finished)
    ```
    BeiChuanAlex
    BeiChuanAlex
    OP
    Jul 29, 2023
    65
    @giter 给的信息太少了,很难分析原因。爬虫爬不出数据,要么是代码写的有问题,要么被反爬了。
    cqcn1991
    cqcn1991
    Nov 28, 2023
    66
    @BeiChuanAlex 想请问一下 LZ, 这个爬虫是能爬每个 channel 的消息嘛?还是能干什么?
    BeiChuanAlex
    BeiChuanAlex
    OP
    Nov 29, 2023❤️1
    67
    @cqcn1991 不能爬取消息,只能获取群的介绍。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4736 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 100ms · UTC 09:15 · PVG 17:15 · LAX 01:15 · JFK 04:15
    ♥ Do have faith in what you're doing.