跳到导航

如何搜索最近一周的远程职位并保存可追溯结果?

要整理最近的远程 LinkedIn 职位候选表,用 linkedin.web_v2.search_jobs 查一页,用 save_jobs.py 归档响应,在 mapping.json 里确认字段映射后,用 export_jobs.py 导出可筛选的 jobs.csv。只为选中的职位用 linkedin.web_v2.get_job_detail 查技能或招聘团队。整个流程只读取职位,不申请职位,也不联系任何人。

1. 确定范围和成本

示例读取一页全球远程软件工程职位,并把响应保存为证据。先在免费的 /v1/capabilities/inspect 查看 data:linkedin.web_v2.search_jobs 当前的输入与价格。默认只查一页,每多一页、每次详情都是另一次收费调用。

2. 发出明确筛选请求

curl --fail-with-body -sS https://api.beatapi.io/v1/social-data/call \
-H "Authorization: Bearer $BEATAPI_API_KEY" \
-H 'Content-Type: application/json' \
-d '{"action":"linkedin.web_v2.search_jobs","params":{"keywords":"software engineer","geo_code":92000000,"date_posted":"Past week","onsite_remotes":["Remote"],"sort_by":"Most recent","start":0}}' \
-o linkedin-jobs-page-0.json

geo_code=92000000 表示全球;城市筛选要用该城市的整数地区码,不能填城市名字符串。筛选值与类型见FAQ。

查“Remote 或 Hybrid”时,不要在 onsite_remotes 里放两个值,实际只有第一个值生效。改用两份独立请求示例,分别保留每份请求的来源,并按两次调用做预算。title_ids、functions 虽在允许输入的结构里,但不会筛选结果。

3. 检查状态并保存证据

HTTP 失败时先保留错误信息,不继续导出。把下面的脚本存为 save_jobs.py;save_jobs.py 检查业务状态和 data 之后才写新文件,不猜列表路径,也不覆盖已有归档。

import json, pathlib, sys
source, target = map(pathlib.Path, sys.argv[1:3])
r = json.loads(source.read_text(encoding="utf-8"))
if r.get("status") != "succeeded" or r.get("action") != "linkedin.web_v2.search_jobs":
raise ValueError("Expected successful LinkedIn job search")
if "data" not in r or r["data"] is None:
raise ValueError("Missing query data")
record = {"request_id": r.get("request_id"), "action": r["action"], "data": r["data"]}
with target.open("x", encoding="utf-8") as f:
json.dump(record, f, ensure_ascii=False, indent=2)
print(str(target))
python3 save_jobs.py linkedin-jobs-page-0.json linkedin-jobs-verified-0.json

linkedin-jobs-verified-0.json 保留 request_id、action 和完整的 data,供人工筛选和后续字段映射。归档保存原始结果,不是标准化的职位 CSV:BeatAPI 直接清洗并透传 data,没有统一的 jobs[] 字段。

4. 有界翻页与去重

获准继续翻页时,保持相同筛选,把 start 依次改为 25、50,每页存成新文件。每取一页先和上一页比对,出现重复或错误就停止。按实际职位 URL 或稳定 ID 去重,不按标题去重,因为不同公司可能用同一个职位名。记录检索时间和筛选条件;一页结果不代表全部职位。

5. 只对选定职位查询详情

从结果里取选中职位的完整 URL,调用 linkedin.web_v2.get_job_detail。需要技能时传 include_skills=true;需要招聘团队时传 include_hiring_team=true。不要默认给所有结果都查详情,也不要把返回的联系方式自动用于外联。

6. 验收和失败恢复

确认 linkedin-jobs-verified-0.json 可读、保留了 request_id、筛选条件一致。业务失败时不会生成归档,save_jobs.py 也不会覆盖已有归档,所以重复运行要换新的目标文件,或直接复用已存文件。保留源 JSON 便于查错;本地转换出错时从已存 JSON 重做,不要为此再次收费查询。

个人与公司链接

7. 交付可筛选岗位表:先人工确认映射,再离线导出

原始 JSON 归档不是最终岗位清单。最终交付 jobs.csv,列为岗位、公司、地区、工作模式、发布时间、职位链接、是否入选、理由、request_id、来源文件。「是否入选」和「理由」两列留空,由读者按自己的需求填写。

先用一条实际职位确认字段映射,再导出整页。每一行至少要有岗位、公司和职位链接。搜索结果只给地区、没给工作模式或发布时间时,这两格留空,审阅时打开职位页面确认后再填。

打开原始 linkedin-jobs-page-0.json,选一条确实包含岗位信息的职位对象,对照原职位页面确认标题、公司与职位链接。把岗位数组的 JSON Pointer 写入 mapping.json 的 rows,把职位对象内部的字段路径写入 fields。指针以 / 开头,数组下标写 /0,字段名里的 ~ 和 / 分别转义为 ~0 与 ~1。title、company、url 必填;location、work_mode、published_at 没有对应数据时设为 null,不能用搜索筛选反推每个岗位的工作模式。

下面只展示映射文件的结构,YOUR_* 是占位路径,不是 BeatAPI 的真实字段。把所有 YOUR_* 换成你核对过的路径:

{"rows":"/data/YOUR_JOB_ARRAY","fields":{"title":"/YOUR_TITLE","company":"/YOUR_COMPANY","url":"/YOUR_JOB_URL","location":null,"work_mode":null,"published_at":null}}

把下面的脚本存为 export_jobs.py。export_jobs.py 在打开目标文件前校验整个集合;映射错误、必填数据缺失、该填标量的位置是嵌套对象、链接不是职位链接,都会报错。脚本按职位 URL 路径去重,保留同名但链接不同的岗位,防止公式注入,并且不覆盖已有表格。

import csv, json, pathlib, sys
from urllib.parse import urlparse
source, mapping, target = map(pathlib.Path, sys.argv[1:4])
r = json.loads(source.read_text(encoding="utf-8"))
m = json.loads(mapping.read_text(encoding="utf-8"))
if r.get("status") != "succeeded" or r.get("action") != "linkedin.web_v2.search_jobs":
raise ValueError("Expected original successful job-search response")
def pointer(value, path):
if path == "": return value
if not isinstance(path, str) or not path.startswith("/"):
raise ValueError("Use JSON Pointer paths")
for part in path[1:].split("/"):
part = part.replace("~1", "/").replace("~0", "~")
value = value[int(part)] if isinstance(value, list) else value[part]
return value
items = pointer(r, m["rows"])
if not isinstance(items, list): raise ValueError("Mapped rows is not an array")
fields = m["fields"]
for name in ["title", "company", "url"]:
if name not in fields: raise ValueError("Map title, company and url explicitly")
rows, seen = [], set()
for item in items:
row = {}
for name in ["title", "company", "url", "location", "work_mode", "published_at"]:
path = fields.get(name)
value = pointer(item, path) if path is not None else None
if value is not None and not isinstance(value, (str, int, float)):
raise ValueError("Mapped values must be scalar: " + name)
row[name] = "" if value is None else str(value)
if any(not row[k].strip() for k in ["title", "company", "url"]):
raise ValueError("Missing required job evidence")
url = urlparse(row["url"])
if url.scheme != "https" or url.hostname not in ["linkedin.com","www.linkedin.com"] or not url.path.startswith("/jobs/view/"):
raise ValueError("Expected a LinkedIn job URL")
key = url.path.rstrip("/")
if key in seen: continue
seen.add(key)
row.update(request_id=r.get("request_id",""), source_file=source.name,
shortlist="", reason="")
rows.append(row)
def safe(value):
text = str(value)
return "'" + text if text.lstrip().startswith(("=","+","-","@")) else text
columns = ["title","company","location","work_mode","published_at","url",
"shortlist","reason","request_id","source_file"]
with target.open("x",encoding="utf-8-sig",newline="") as f:
writer=csv.DictWriter(f,fieldnames=columns);writer.writeheader()
writer.writerows({k:safe(row[k]) for k in columns} for row in rows)
print(json.dumps({"exported_rows":len(rows),"source_rows":len(items)}))
python3 export_jobs.py linkedin-jobs-page-0.json mapping.json jobs.csv

在表格软件里按公司、地区、工作模式筛选,打开职位链接后填写 shortlist 与 reason 两列。至少抽查两行,对照原始职位对象。空结果只输出表头,不代表“所有公司都没有岗位”。核对 exported_rows 与去重后的实际记录数一致。保留 mapping.json 和源响应,之后修正映射时可以直接重新导出,不必再付费查询。导出过程不申请职位、不联系招聘者,不估算薪酬,也不补造未提供的信息。