V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  sead  ›  全部回复第 2 页 / 共 6 页
回复总数  118
1  2  3  4  5  6  
快速解析数据: https://github.com/serping/express-scraper

无头集群: https://github.com/seadfeng/headless-browser-clusters

两个结合用,不要太舒服
2025 年 3 月 1 日
回复了 iorilu 创建的主题 Python 最近想搞个爬虫爬点东西, 目前 Python 那个框架最好用呢
@godall https://github.com/seadfeng/headless-browser-clusters

最早用无头,感觉确实效率很低, 后面再次尝试用,其实没那么糟糕;碰到硬茬逆向搞不定能有什么办法
有爬虫牌照的都不敢这么玩,哪天有人喝茶了,记得回来回帖
2025 年 2 月 9 日
回复了 bobbyshmurda 创建的主题 Instagram 有哪些好的 instagram 信息下载工具?
https://apify.com/instagram-scraper 这里有免费额度的刮板,撸到 JSON ,让 AI 给你写脚本,可以批量撸到本地
2025 年 1 月 23 日
回复了 Alcex 创建的主题 编程 FastAPI 与 Nodejs 的 Express 哪个更适合开发 API
@Alcex

https://github.com/serping/express-scraper

需要 TS 版本,可以参考这个, 我之前刚入坑 express 找不到开箱就能用的。

可以部署到 vercel
2025 年 1 月 23 日
回复了 sead 创建的主题 分享创造 docker 无头浏览器群控, express 开箱即用
@clhcowboy

本地启动后用下面这个 curl 测试,项目主要用于 js 渲染页面,具体到 dom 解析不建议写在一起。

curl -X POST http://127.0.0.1:3010/api/v1/fetch \
-H "Content-Type: application/json" \
-H "X-Api-key: your_api_key" \
-d '{
"url": "https://api.ipify.org"
}'
2025 年 1 月 23 日
回复了 codingMayCry 创建的主题 程序员 实现网页截图
https://github.com/seadfeng/headless-browser-clusters

改一下就可以变成截图 api 服务
shadcn
<DropdownMenu modal={false}>
解决下拉问题 “modal={false}”
2024 年 12 月 24 日
回复了 yang2yang 创建的主题 分享创造 next.js 效率还挺高的,顺手写了个 AI 导航站
cloudflare pages? 数据通信好像有点慢,不会是 D1 吧?

CF pages 撸 DB 还是有点难受
2024 年 12 月 14 日
回复了 Frytea 创建的主题 分享发现 ai 生图还挺好玩
第一眼反复确认是否打少了个零
2024 年 11 月 25 日
回复了 chrisyounger 创建的主题 分享发现 小工具分享: Favicon Generator - Icon 自动生成器
@forty 对于一天产几个站的撸个字符就上了
2024 年 11 月 25 日
回复了 zfjdif 创建的主题 分享创造 [自荐] https://selfh.app - All in boom 导航平台
i18n 思路参考:
export type LocaleType = "en" | "es" | "fr" | "it" | "de_DE" | "pt" | "nl" | "pl" | "sv" | "tr" ;
export type Post = {
slug: string;
status: Status;
createdAt: string;
updatedAt: string;
author: string;
images: string[];
featured_image: string;
i18n: Partial<Record<LocaleType, Article>>;
related_posts: {
slug: string;
}[]
}

type Article = {
title: string;
subtopic: string;
keywords: string;
meta_title: string;
meta_description: string;
translated?: boolean;
body: string;
faqs: string;
tags: string[];
}

小型的有准备设计自动化产 JSON 文件,提交上去免数据库
@tandk json 版本 vscode 将就用,只有 md 比较麻烦
CF Workers & Pages 最合适,至于怎么转换和设计站群就看你怎么解决;询盘找个服务,或者自己装个开源的系统,https://zammad.org/screenshots
不错,md 可以弄成语言多选,打包成 zip 下载 ,正需要这东西:)
2024 年 10 月 24 日
回复了 cavan 创建的主题 分享创造 后端程序员搞了一个工具小网站, 欢迎来挑刺
https://ui.shadcn.com/

多用用上手应该不难
可以装个 IRamDisk 加速浏览器缓存; nextjs 是什么场景? 我用的时候一点卡的感觉都没有,用的智能提示插件是否跟网有关?
2024 年 10 月 10 日
回复了 callmejoejoe 创建的主题 程序员 请教爬虫代理方案,成本太高了!
@callmejoejoe PG: postgresql, 另外爬虫在国外没有那么玄乎,公开数据随便爬,如果是违法的,谷歌公司的不是得全抓了
1  2  3  4  5  6  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   978 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 44ms · UTC 18:46 · PVG 02:46 · LAX 11:46 · JFK 14:46
♥ Do have faith in what you're doing.