对于任何对最新市场趋势感兴趣的人来说，抓取沃尔玛畅销产品是一项战略举措。 通过利用 Crawlbase 抓取 API 和 JavaScript，您可以轻松提取有关沃尔玛在线商店上最受欢迎的产品的信息。

这种方法对于需要掌握消费者需求脉搏的零售商或热衷于发现流行商品的购物者特别有用。 JavaScript 和 Crawlbase API 的结合简化了流程，使您能够自动进行数据检索并始终了解沃尔玛上最畅销产品的最新动态。

我们的分步指南旨在帮助您有效地收集所需的数据，确保您始终了解情况并准备好在动态的在线零售环境中做出明智的决策。

目录

了解沃尔玛畅销产品

在开始抓取沃尔玛的畅销商品之前，有必要了解这个术语的含义、为什么它很重要以及您可以从中提取什么样的数据。

1.什么是沃尔玛畅销商品？

沃尔玛畅销产品是目前在沃尔玛在线平台上热销的产品。 这些是沃尔玛顾客中评价最高的商品。 它们可以包括广泛的产品，从电子产品、服装到家居用品等等。

2. 抓取这些数据的意义

  • 市场洞察： 抓取沃尔玛畅销产品可以提供有价值的市场洞察。 它可以帮助企业和个人了解哪些产品是流行趋势和需求量很大，这对于在电子商务和零售领域做出明智的决策至关重要。
  • 价格追踪： 通过监控畅销商品，您可以跟踪价格变化、折扣和促销活动。 这些信息可用于制定有竞争力的定价策略并寻找最佳交易。
  • 产品研究： 研究人员和分析师利用这些数据来研究消费者偏好、识别新兴趋势并评估不同产品类别随时间的表现。
  • 内容创建： 博主和视频博主等内容创建者经常使用畅销书的数据来创建引人入胜的内容，例如产品评论和推荐。

3. 确定要提取的特定数据

在抓取沃尔玛畅销商品时，您可能想要提取的具体数据包括：

  • 产品名称： 最畅销产品的名称。
  • 价格： 这些产品的当前价格。
  • 评分： 每个产品的客户评级和评论。
  • 说明： 有关产品的描述或详细信息。
  • 网址： 沃尔玛网站上产品页面的链接。

您可以根据您的目标和想要获得的见解来选择提取全部或部分信息。 对您需要的数据制定清晰的计划至关重要，因为这将指导您的抓取工作并帮助您有效地使用信息。

了解沃尔玛畅销商品及其相关数据是您抓取旅程的第一步。 有了这些知识，您就可以继续使用 Crawlbase 爬取 API JavaScript 来收集您特定目的所需的数据。

了解沃尔玛畅销产品

抓取沃尔玛畅销书：分步指南

设置环境

要在 Crawlbase 上注册免费帐户并获取您的私人令牌，请转到您的 Crawlbase 账户文件 部分。

要安装 Crawlbase Node.js 库，请按照以下步骤操作：

  1. 确保您的计算机上安装了 Node.js。 如果没有，可以从 Node.js 官方网站下载并安装。

  2. 确认 Node.js 已安装后，打开终端并输入以下命令：

1
npm 安装爬虫库

此命令将在您的系统上下载并安装 Crawlbase Node.js 库，以便您可以将其用于网页抓取项目。

  1. 创建一个名为 "walmart-scraper.js 您可以使用文本编辑器或集成开发环境 (IDE)。 以下是使用标准命令行方法创建文件的方法：

运行以下命令：

1
触摸 walmart-scraper.js

执行该命令会生成一个空的 walmart-scraper.js 指定目录下的文件。 然后，您可以使用您喜欢的文本编辑器打开此文件并添加 JavaScript 代码。

使用 Crawling API 获取 HTML

您拥有 API 凭据，安装了 Crawlbase Node.js 库，并创建了一个名为的文件 walmart-scraper.js。 现在，选择您想要抓取的沃尔玛畅销书页面。 在此示例中，我们选择了沃尔玛畅销书页面 电子类.

沃尔玛电子产品类别畅销书页面

要设置 Crawlbase 抓取 API，您需要执行几个简单的步骤：

  1. 确保您已完成 walmart-scraper.js 文件，如前一部分所述。
  2. 只需将我们在下面提供的脚本复制并粘贴到该文件中即可。
  3. 使用以下命令在终端中运行脚本 node walmart-scraper.js.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
// 导入爬取API
常量 { 抓取API } = 要求('crawlbase');

// 设置您的 Crawlbase 令牌
常量 接口= 新 抓取API({ 象征: 'YOUR_CRAWLBASE_TOKEN' }）;

// 要抓取的沃尔玛页面的 URL
常量 沃尔玛页面URL = 'https://www.walmart.com/shop/best-sellers/ electronics ';

// 获取爬取URL的请求
API
  .得到（沃尔玛页面网址）
  .然后((响应) => {
    if （回复。状态码 === 200）{
      领事.日志（回复。身体);
    }
  })
  .捕捉((错误) => 领事.错误);

上面脚本中的说明向您展示了如何使用 Crawlbase 的 Crawling API 从 Walmart 畅销书页面获取数据。 您需要设置 API 令牌，指定要获取的 Walmart 页面，然后发送 GET 请求。 当您运行此代码时，它将在您的控制台上显示沃尔玛页面的原始 HTML 内容。

沃尔玛畅销书页面的 HTML 响应

抓取有意义的数据 爬取API参数

在上一个示例中，我们学习了如何获取沃尔玛畅销商品的基本布局：来自其网站的 HTML 代码。 然而，我们可能只是有时需要这个基本代码。 我们经常需要的是网页上的具体细节。 好消息是，Crawlbase 抓取 API 具有特殊设置，可以让我们轻松地从沃尔玛页面中提取关键详细信息。 为此，您在使用爬网 API 时必须使用“自动解析”功能。 此功能简化了以 JSON 格式收集最关键信息的过程。 您可以通过更新来做到这一点 walmart-scraper.js 文件。 让我们看下一个示例以了解它是如何工作的。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
// 导入爬取API
常量 { 抓取API } = 要求('crawlbase');

// 设置您的 Crawlbase 令牌
常量 接口= 新 抓取API({ 象征: 'YOUR_CRAWLBASE_TOKEN' }）;

// 要抓取的沃尔玛页面的 URL
常量 沃尔玛页面URL = 'https://www.walmart.com/shop/best-sellers/ electronics ';

// 爬取 API 的选项
常量 选项= {
  自动解析: '真的',
};

// 获取爬取URL的请求
API
  .得到（walmartPageURL、选项）
  .然后((响应) => {
    if （回复。状态码 === 200）{
      // 解析 JSON 响应并打印它
      领事.日志(JSON.解析（回复。身体））;
    }
  })
  .捕捉((错误) => {
    领事.错误(“API 请求错误：”， 错误）;
  }）;

JSON 响应：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
{
  “原始状态”: 200,
  “电脑状态”: 200,
  “网址”: “https://www.walmart.com/shop/best-sellers/ electronics”,
  “身体”: {
    “警报”: “已选择通用网络抓取工具。如果您需要针对给定 URL 的更详细的抓取工具，请联系支持人员。”,
    “标题”: “电子产品畅销书 - Walmart.com”,
    “图标”: "",
    “元”: {
      “说明”: “在沃尔玛购买最畅销的电子产品并享受优惠。”,
      “关键词”: ""
    },
    “内容”: “你想要你的物品如何？你想要你的物品如何？  屏幕阅读器说明：在此对话框中，您将找到切换按钮来选择您想要的购物方式。  选择后，此选项将保存自定义您在沃尔玛的购物体验，以向您展示相关产品。  如果您想更改首选项，可以在任何页面上触发此对话框。  按照阅读和键盘顺序，触发对话框的按钮出现在“购物车”按钮之后。  该按钮将根据您最后选择的选项进行标记。  要退出此对话框，请激活“关闭”按钮或按“Escape”键。  发货 取货 送货 请稍后重试 使用 Roku Ultra LT 流媒体设备 4K/HDR/杜比视界/双频 Wi-Fi 以及 Roku 语音遥控器和 HDMI 电缆保存 5074.6 满分 5 星。  507 条评论 保存并可提货 发货，2 天内送达 售价 1,049.99 美元 SGIN 15.6 英寸笔记本电脑 4GB DDR4 128GB SSD Windows 11，配备 4 核 Intel Celeron，全高清 1920x1080 26974.5 满分 5 星。  2697 条评论 节省，免运费，2 天内到达 原价 399.99 美元 TOPVISION 4 件安全有线摄像头系统，8 路 3MP NVR 家庭安全，1080P IP 安全监控摄像头，带彩色夜视，IP66 防水，适用于室内室外，无 HDD（无线 Wi-Fi） ) 23574.6 颗星，最多 5 颗星。  2357 条评论 节省，免运费，2 天内到达 售价 369.98 美元 ROCONIA 5G WiFi 蓝牙本机 1080P 投影仪，13000LM 全高清电影投影仪，LCD 技术 300\" 显示支持 4k 家庭影院，（包括投影仪屏幕） 23774.6 颗星，满分 5 颗星。  2377 条评论 节省，免运费，2 天内到达 售价 169.99 美元 CRUA 24 英寸 165Hz/180Hz 曲面游戏显示器 - 全高清 1080P 无框电脑显示器，AMD FreeSync，低动态模糊，DP 和 HDMI 端口，黑色 9364.7 星，满分 5 星。  936 条评论 节省，免运费，2 天内送达 售价 59.99 美元 USX MOUNT 全动态电视壁挂支架，适用于 47-90 英寸电视 旋转倾斜 延伸水平 最大承重 132 磅 VESA 600x400 毫米，16 英寸木螺柱 7894.7 颗星，满分 5 颗星。  789 条评论 节省，免运费，2 天内送达 选项范围为 29.99 美元 – 35.99 美元 TOPVISION 无线安全摄像头、带户外夜视功能的 2K WiFi 摄像头、用于家庭安全系统的 IP66 户外防水摄像头、带 PIR 运动传感器的监控摄像头、2 路音频 32764.5 输出5 星。  3276 条评论 使用 Proscan Elite 10.1 英寸平板电脑/便携式 DVD 组合保存，32GB 存储，Android 11，1280x800 分辨率，黑色 1614 星，满分 5 星。  161 条评论 节省，免运费，2 天内到达 售价 99.99 美元 ULTIMEA 2.2 声道电视条形音箱，内置双低音炮，2 合 1 可分离蓝牙 5.3 条形音箱，低音最大可调节电视环绕声条形音箱，HDMI-ARC/光纤/Aux 家用剧院扬声器，壁挂式 4344.5 颗星，满分 5 颗星。  434 条评论 保存并免运费，2 天内到达 当前价格 2,999.00 美元 LG 77\" 4K 级超高清 OLED 网络操作系统智能电视，采用杜比视界 C2 系列 OLED77C2PUA 30604.7 颗星，满分 5 颗星。  3060 条评论 免费送货，3 天以上送达 售价 169.99 美元 带蓝牙 5 的 5.1G WiFi 投影仪、9000 流明高清电影投影仪、支持 1080P 250 英寸显示屏 4024.6 星，满分 5 星。  402 条评论 保存并免运费，2 天内送达 选项范围为 449.00 美元 – 1,199.99 美元 Skytech Blaze 3.0 游戏电脑台式机 AMD Ryzen 5 5600G 3.9 GHz、AMD Radeon 显卡、500GB NVME SSD、16GB DDR4 RAM 3200、600W 金牌 PSU、11AC Wi-Fi , Windows 11 家庭版 64 位 224.1 满分 5 星。  22 条评论 免费送货，3 天以上送达 售价 749.00 美元 IPASON 游戏台式电脑，Amd Ryzen 5 5600G 6 核 3.9GHz，AMD Radeon 显卡 Igpu，1TB SSD，16GB DDR4 Ram，Windows 11 Home 743.5 满分 5 星。  74 条评论 节省 2021 年 Apple 10.2 英寸 iPad Wi-Fi 64GB - 深空灰色（第 9 代） 51024.7 颗星，满分 5 颗星。  5102 条评论 保存 添加 $189.00 37484.6 满分 5 星。  3748 条评论 节省，免运费，2 天内到达 售价 298.00 美元 海信 58 英寸 4K 级超高清 LED 液晶 Roku 智能电视 HDR R6 系列 58R6E3 83984.2 满分 5 颗星。  8398 条评论 节省，免运费，明天送达 选项从 149.00 美元到 179.55 美元 Beats Studio3 无线降噪耳机，带 Apple W1 耳机芯片 - 哑光黑色 12114.6 满分 5 星。  1211 条评论 免费送货，3 天以上送达，当前价格 198.00 美元。  50 级 4K UHD (2160P) LED Roku 智能电视 HDR (100012585) 110844.3 满分 5 颗星。  11084 条评论 使用 VIZIO 50 英寸 V 级系列 4K 超高清 LED 智能电视 V505-J09 节省 200994.4 颗星，最多 5 颗星。  20099 条评论 保存 7094.7 星，满分 5 星。  709 条点评 通过 onn 保存。  32 级高清 (720P) LED Roku 智能电视 (100012589) 146814.4 满分 5 星。  14681 条评论 保存 16304.4 星，满分 5 星。  1630 条评论 使用 VIZIO 65 英寸 V 级系列 4K 超高清 LED 智能电视 V655-J09 节省 200994.4 颗星，最多 5 颗星。  20099 评论 节省，免运费，2 天内到达 当前价格 248.00 美元 TCL 55\" 4 级系列 4K 超高清 HDR 智能 Roku 电视 - 55S451 106024.1 满分 5 星。  10602 条评价 免运费，明天到达 699.00 美元/年 Cyber​​PowerPC Gamer Master 游戏台式机，AMD Ryzen 5 5500，16GB，AMD Radeon RX 6700 10GB，1TB SSD，黑色，GMA6800WST 6704.7 满分 5 星。  670 条评论 保存 3104.6 星，满分 5 星。  310 条评论 免费送货，3 天以上送达 LG 70 英寸 4K 级超高清 2160P webOS 智能电视 - 70UQ7070ZUD 14634.4 颗星，满分 5 颗星。  1463 条评论 明天免费取货 免费送货 原价 229.00 美元 HP Stream 14\" 笔记本电脑，Intel Celeron N4020 处理器，4GB RAM，64GB eMMC，粉色，Windows 11（S 模式），带 Office 365 1 年，14-cf2112wm 29683.8 满分 5星星。  2968 条评论 节省，免运费，今天到货 售价 179.00 美元 Beats Solo3 无线贴耳式耳机，带 Apple W1 耳机芯片 - 黑色 20904.5 颗星，满分 5 颗星。  2090 条评论 免费送货，3 天以上送达 三星 65 英寸 CU7000B 级水晶超高清 4K 智能电视 UN65CU7000BXZA 15044.5 颗星，满分 5 颗星。  1504 条评论 节省运费，2 天内到达，当前价格 498.00 美元。  75 级 4K 超高清 (2160P) LED 无框 Roku 智能电视 (100044717) 28554.1 满分 5 星。  2855 条评论 免运费，当前价格 248.00 美元。  55 级 4K UHD (2160P) LED Roku 智能电视 HDR (100012586) 37494.2 满分 5 颗星。  3749 条评论 节省，免运费，2 天内到达 售价 329.00 美元 HP Chromebook X360 14\" 高清触摸屏二合一，英特尔赛扬 N2，1GB RAM，4020GB eMMC，青色，4a-ca64wm 14 满分 0130 星。  376 条评价 使用 Beats Studio Buds 保存 - 真正的无线降噪蓝牙耳机 - 黑色 15114 星，满分 5 星。  1511 条评价 使用三星 Galaxy Tab A8 保存，10.5 英寸平板电脑 32GB（Wi-Fi），深灰色 14164.4 颗星，满分 5 颗星。  1416 条评论 节省，免运费，2 天内送达 售价 133.00 美元 飞利浦 32 英寸高清 (720P) 智能 Roku 无边框 LED 电视 (32PFL6452/F7) 36714.4 颗星，满分 5 颗星。  3671 条评论 节省，免运费，2 天内送达 选项从 $479.00 – $618.00 MSI GF63 15\" 游戏笔记本电脑，144Hz FHD，Intel i5-11400H，NVIDIA RTX 3050，16GB DDR4，512GB SSD，Win11 914.4 满分 5 星。  91 条评论 商店库存情况各不相同 缺货 TOPVISION 电视条形音箱、带低音炮的条形音箱、有线和无线蓝牙 5.0 3D 环绕扬声器、光纤/AUX/RCA/USB 连接、壁挂式、遥控器 36874.3 星，满分 5 星。  3687 条评价 缺货 VEATOOL 蓝牙耳机真正的无线耳塞 60 小时播放 LED 电量显示耳机带无线充电盒 IPX7 防水入耳式耳塞带麦克风适用于电视智能手机电脑笔记本电脑 16164.6 满分 5 星。 ,
    “典范”: “https://www.walmart.com/shop/best-sellers/ electronics”,
    “图片”: [
      "//i5.walmartimages.com/dfw/63fd9f59-b3e1/7a569e53-f29a-4c3d-bfaf-6f7a158bfadd/v1/walmartLogo.svg",
      "https://i5.walmartimages.com/dfwrs/76316474-3850/k2-_c6d4aec7-b4a7-4ea4-9223-07c8daef4fcf.v1.png",
      "https://i5.walmartimages.com/dfwrs/76316474-f13c/k2-_d4e8ebb4-9d70-46b4-8f2b-ecc4ac774e07.v1.png",
      "https://i5.walmartimages.com/dfwrs/76316474-8720/k2-_d747b89f-5900-404d-a101-1a3452480882.v1.png",
      "https://i5.walmartimages.com/dfwrs/76316474-39c2/k2-_8deea800-0d44-4984-b1ce-5a3f12b192b7.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-70f6/k2-_b29e64c4-bea1-474c-9b4d-a28e11524b56.v1.jpg",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-bf3d/k2-_f17f25c7-dff7-4ac6-8806-10943a345daf.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-70e1/k2-_f03cf59c-7356-455c-b1c8-23131fe6dc36.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-4bca/k2-_a131fab0-528b-45df-87eb-fa18c8eb0c9c.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-e022/k2-_95447efb-7a97-444b-89c8-f52151e8c2ee.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-bbb5/k2-_3299d0e4-ccb1-4bb3-83eb-31173286f728.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-9008/k2-_9abdaa53-07da-4f73-a08a-cfbbb6a13fc6.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-628c/k2-_365e3c70-a606-42e8-b5a1-f02e43f8dfc2.v1.png"
    ],
    “视频”: [],
    “分组图像”: {
      “D b”: ["//i5.walmartimages.com/dfw/63fd9f59-b3e1/7a569e53-f29a-4c3d-bfaf-6f7a158bfadd/v1/walmartLogo.svg"],
      “MR2 BR-100 v-btm dn db-m”: [
        "https://i5.walmartimages.com/dfwrs/76316474-3850/k2-_c6d4aec7-b4a7-4ea4-9223-07c8daef4fcf.v1.png"
      ],
      “v-btm”: [
        "https://i5.walmartimages.com/dfwrs/76316474-f13c/k2-_d4e8ebb4-9d70-46b4-8f2b-ecc4ac774e07.v1.png",
        "https://i5.walmartimages.com/dfwrs/76316474-8720/k2-_d747b89f-5900-404d-a101-1a3452480882.v1.png",
        "https://i5.walmartimages.com/dfwrs/76316474-39c2/k2-_8deea800-0d44-4984-b1ce-5a3f12b192b7.v1.png"
      ],
      “MW-100绝对左-0下-0”: [
        "https://i5.walmartimages.com/dfw/4ff9c6c9-70f6/k2-_b29e64c4-bea1-474c-9b4d-a28e11524b56.v1.jpg",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-bf3d/k2-_f17f25c7-dff7-4ac6-8806-10943a345daf.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-70e1/k2-_f03cf59c-7356-455c-b1c8-23131fe6dc36.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-4bca/k2-_a131fab0-528b-45df-87eb-fa18c8eb0c9c.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-e022/k2-_95447efb-7a97-444b-89c8-f52151e8c2ee.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-bbb5/k2-_3299d0e4-ccb1-4bb3-83eb-31173286f728.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-9008/k2-_9abdaa53-07da-4f73-a08a-cfbbb6a13fc6.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-628c/k2-_365e3c70-a606-42e8-b5a1-f02e43f8dfc2.v1.png"
      ],
      “绝对top-0 left-0”: [
        "https://i5.walmartimages.com/asr/ac793ff4-d3da-4cbe-beba-f956e7494490_1.5bae15688eb0aafd22a99d01a072f9db.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/09219b67-9e5f-4658-994a-05ab956e6ffb.f61269f971887a13c79d2931e1c62694.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/5ef57c1c-eb19-4975-a8f5-468530ca131a.2237d30635f2d0b3ab76518bf69ccb2d.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/448940ca-3434-493d-ba05-8405f337392a.f58aea8fbf600a69f7aa8f2969cde029.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/7611030d-ded9-419e-b9df-bbd6e591f187.65129e104b761b44dd15365ec0edb600.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
      ],
      “柔性”: ["//i5.walmartimages.com/dfw/63fd9f59-ac39/29c6759d-7f14-49fa-bd3a-b870eb4fb8fb/v1/wplus-icon-blue.svg"],
      “br-100 v-btm ba b--透明”: [
        "https://i5.walmartimages.com/asr/76763ed0-f926-417c-8285-a328d6e91201.37c036e847a376f92d284c922b5c6ef4.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/9c22524e-3900-4a20-8a00-e0703a37d5a6.939ba8e3711f058c2015a770ee3be00f.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/96085919-473b-4348-af43-dd52162d51ad.9b9c40d4e2f1916bf023024a6882a7e3.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30",
        "https://i5.walmartimages.com/asr/8766773c-33e8-45f0-a5e2-7b8d7b5a2807.e1ebcd1be09e63793b37c59b1e4e7a43.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30",
        "https://i5.walmartimages.com/asr/d1e7a394-40bf-4bd0-ab2f-05962b339c11.7765451801d8914aa40bf76d8e4ee44c.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/ee67ea77-6e64-4148-9f57-048d5c8bb2cf.4ce415aa426d2c96832aa9a9478184ee.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/c52b904a-d551-4a22-96a8-7b79d0427e74_1.894be2a6177ecea43d3141b0fb8de755.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/1a81dac4-f33b-4a5c-9087-51303de450eb_1.6ecc6132b80c59da5e27509de279c0c0.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/ad6b701f-a6f0-4c92-886b-078ae6934a1e_1.8c2fe49d6e265471886e256e3f9fd9b8.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/0ce6ba44-ad2e-445c-a9ff-6c1ab11ad29d.f2b82cc9e22fbc2f4012ea2dcdbec766.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/845982ab-2ef5-4500-b0e4-9aa4c89d79cf.30c60a92a589d8cf97d1f49ec04f2622.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/42acaa56-6085-4729-8512-6547bffcfdb7.16099e0af118f0e2237b885a629c7d16.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/67f761e1-eefc-47d8-8dd0-5ad824debf9a.01f64ab355f971030adaca50c4b959b3.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30"
      ],
      “未找到类别”: [
        "https://www.walmart.com/akam/13/pixel_17309a7b?a=dD01MDc2YzdiNWRiODEyYTZiYmRhNzMzYjYxNzZiNTgzZGZhYTU0M2E3JmpzPW9mZg=="
      ]
    },
    “og_images”: [
      "https://i5.walmartimages.com/asr/ac793ff4-d3da-4cbe-beba-f956e7494490_1.5bae15688eb0aafd22a99d01a072f9db.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff"
    ],
    “链接”: [
      “https://www.walmart.com/shop/best-sellers/ electronics#maincontent”,
      “https://www.walmart.com/”,
      “https://www.walmart.com/my-items”,
      “https://www.walmart.com/lists”,
      “https://www.walmart.com/my-registries”,
      “https://www.walmart.com/account/login?vid=oaoh”,
      “https://www.walmart.com/orders”,
      “https://www.walmart.com/shop/best-sellers”,
      “https://www.walmart.com/shop/best-sellers/toys”,
      “https://www.walmart.com/shop/best-sellers/sports-and-outdoors”,
      “https://www.walmart.com/shop/best-sellers/ electronics”,
      “https://www.walmart.com/shop/best-sellers/home”,
      “https://www.walmart.com/shop/best-sellers/fashion”,
      “https://www.walmart.com/shop/best-sellers/baby”,
      “https://www.walmart.com/shop/best-sellers/beauty”,
      “https://www.walmart.com/ip/Apple-AirPods-with-Charging-Case-2nd-Generation/604342441?athbdg=L1800”,
      “https://www.walmart.com/ip/Roku-Ultra-LT-Streaming-Device-4K-HDR-Dolby-Vision-Dual-Band-Wi-Fi-with-Roku-Voice-Remote-and-HDMI -电缆/855978264?athbdg=L1800",
      "https://www.walmart.com/ip/SGIN-15-6inch-Laptop-4GB-DDR4-128GB-SSD-Windows-11-with-4-Core-Intel-Celeron-Full-HD-1920x1080/1044996074?athbdg=L1800",
      "https://www.walmart.com/ip/TOPVISION-4pcs-Security-Wired-Camera-System-8CH-3MP-NVR-Home-Security-1080P-IP-Surveillance-Cameras-Color-Night-Vision-IP66-Waterproof-Indoor-Outdoor/166697493?athbdg=L1800",
      "https://www.walmart.com/ip/ROCONIA-5G-WiFi-Bluetooth-Native-1080P-Projector-13000LM-Full-HD-Movie-LCD-Technology-300-Display-Support-4k-Home-Theater-Projector-Screen-Included/663038446?athbdg=L1800",
      "https://www.walmart.com/ip/CRUA-24-165Hz-180Hz-Curved-Gaming-Monitor-FHD-1080P-Frameless-Computer-Monitor-AMD-FreeSync-Low-Motion-Blur-DP-HDMI-Port-Black/1277532195?athbdg=L1800",
      "https://www.walmart.com/ip/Skytech-Blaze-3-0-Gaming-PC-Desktop-AMD-Ryzen-5-5600G-3-9-GHz-Radeon-Graphics-500GB-NVME-SSD-16GB-DDR4-RAM-3200-600W-GOLD-PSU-11AC-Wi-Fi-Windows-11-H/1965053079?variantFieldId=actual_color",
      "https://www.walmart.com/ip/Skytech-Blaze-Gaming-PC-Desktop-INTEL-Core-i7-12700F-2-1-GHz-NVIDIA-RTX-4060-Ti-1TB-NVME-SSD-16GB-DDR4-RAM-3200-600W-GOLD-PSU-240mm-AIO-11AC-Wi-Fi-Wi/2472931979?variantFieldId=actual_color",
      "https://www.walmart.com/ip/IPASON-Gaming-Desktop-PC-Amd-Ryzen-5-5600G-6-Core-3-9GHz-AMD-Radeon-Graphics-Igpu-1TB-SSD-16GB-DDR4-Ram-Windows-11-Home/375037946?athbdg=L1700"
    ]
  }
}

现在我们已经有了来自沃尔玛畅销书页面的 JSON 数据，让我们专注于提取关键详细信息，例如产品标题、价格、评级等。 这一步将使我们更好地了解产品的性能和客户的意见。 让我们继续看看我们能收集到哪些有用的信息！

抓取沃尔玛最畅销产品详细信息

在此示例中，我们将向您展示如何从您最初抓取的沃尔玛畅销书页面的 HTML 内容中提取畅销产品的详细信息。 这涉及到使用两个 JavaScript 库：cheerio（通常用于网页抓取）和 fs（通常用于文件系统操作）。

下面的 JavaScript 代码使用 Cheerio 库从沃尔玛畅销书页面抓取产品详细信息。 它从“walmart-scraper.js”文件中读取 HTML，将其加载到 Cheerio 中，并获取产品名称、价格、评级、评论和图像 URL 等信息。 该脚本遍历每个产品容器，将数据保存在 JSON 数组中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
// 导入必要的库
常量 FS = 要求('fs');
常量 欢呼= 要求('cheerio');

// 从文件中加载 HTML 内容
常量 html内容 = fs.读取文件同步('沃尔玛-scraper.html', 'utf8');

// 将HTML内容加载到cheerio中
常量 $ = 快乐。加载(html内容);

// 选择所有产品容器（假设它们具有相同的类）
常量 产品容器 = $('.sans-serif.mid-gray.relative.flex.flex-column.w-100.hide-child-opacity');

// 存储所有产品信息的数组
常量 产品=[]；

// 循环遍历每个产品容器
产品容器。每((索引、元素) => {
  // 提取每个产品的产品信息
  常量 产品={}；

  // 提取产品名称
  常量 产品名称元素 = $(元素).发现('[数据自动化-id =“产品标题”]');
  的产品。姓名 = 产品名称元素 ? 产品名称元素。文本（）。修剪()： '';

  // 提取产品价格和货币符号
  常量 产品价格容器 = $(元素).发现('[data-automation-id="产品价格"]');

  // 提取整个价格字符串
  常量 价格字符串 = 产品价格容器。发现('.w_iUH7').文本（）。修剪（）;

  // 使用正则表达式分隔货币符号和数字部分
  常量 价格匹配 = 价格字符串。匹配(/([^\d]+)([\d,\.]+)/);

  if （价格匹配）{
    // 将货币符号和数字部分组合成一个键：价格
    // 从价格值中删除特定文本“[Now]”
    的产品。车资 = `${价格匹配[1]。修剪（）}${价格匹配[2]}`;
  } 其他 {
    // 如果没有匹配则默认值
    的产品。车资 = '';
  }

  // 提取产品评分和评论
  常量 评级容器 = $(元素).发现('.flex.items-center.mt2');
  常量 评级文本 = 评级容器。发现('.w_iUH7').文本（）。修剪（）;

  // 仅提取评分，不提取评论数量和评论文本
  常量 ratingWithoutReviews = ratingText.更换(/\d+\s*评论/i, '').修剪（）;
  的产品。等级 = 没有评论的评分 !== '' ？ 评分无评论： “无法评级”;

  // 仅提取评论的数字部分
  常量 评论匹配=评级文本。匹配(/(\d+)\s*评论/i);
  的产品。评论 = 评论匹配 ? 解析整数（评论匹配[1], 10）： 0;

  // 提取产品图片URL
  常量 imageUrlElement = $(元素).发现('img[data-testid="productTileImage"]');
  的产品。图片 = 图像 URL 元素？ 图像UrlElement。属性('源代码'）： '';

  // 将商品信息添加到数组中
  产品。推（产品）;
}）;

// 使用提取的所有产品信息创建一个 JSON 对象
常量 产品Json = JSON.串化（产品， 空, 2);

// 将 JSON 对象打印到控制台
领事.日志（产品Json）；

JSON 响应：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
[
  {
    “名称”: “带充电盒的 Apple AirPods（第 2 代）”,
    “价钱”: “当前价格现在 69.00 美元”,
    “评分”: “4.6 颗星，最多 5 颗星。”,
    “评论”: 23387,
    “图片”: "https://i5.walmartimages.com/asr/ac793ff4-d3da-4cbe-beba-f956e7494490_1.5bae15688eb0aafd22a99d01a072f9db.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    “名称”: “Roku Ultra LT 流媒体设备 4K/HDR/杜比视界/双频 Wi-Fi，带 Roku 语音遥控器和 HDMI 电缆”,
    “价钱”: “当前价格现在 34.00 美元”,
    “评分”: “4.6 颗星，最多 5 颗星。”,
    “评论”: 507,
    “图片”: "https://i5.walmartimages.com/asr/09219b67-9e5f-4658-994a-05ab956e6ffb.f61269f971887a13c79d2931e1c62694.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    “名称”: “SGIN 15.6 英寸笔记本电脑 4GB DDR4 128GB SSD Windows 11，配备 4 核英特尔赛扬，全高清 1920x1080”,
    “价钱”: “当前价格现在 259.99 美元”,
    “评分”: “4.5 颗星，最多 5 颗星。”,
    “评论”: 2697,
    “图片”: "https://i5.walmartimages.com/asr/5ef57c1c-eb19-4975-a8f5-468530ca131a.2237d30635f2d0b3ab76518bf69ccb2d.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    “名称”: “TOPVISION 4 件安全有线摄像头系统，8 路 3MP NVR 家庭安全，1080P IP 安全监控摄像头，带彩色夜视，IP66 防水，适用于室内室外，无 HDD（无线 Wi-Fi）”,
    “价钱”: “当前价格现在 89.99 美元”,
    “评分”: “4.6 颗星，最多 5 颗星。”,
    “评论”: 2357,
    “图片”: "https://i5.walmartimages.com/asr/448940ca-3434-493d-ba05-8405f337392a.f58aea8fbf600a69f7aa8f2969cde029.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    “名称”: “ROCONIA 5G WiFi 蓝牙本机 1080P 投影仪，13000LM 全高清电影投影仪，LCD 技术 300\”显示支持 4k 家庭影院，（包括投影仪屏幕）”,
    “价钱”: “当前价格现在 105.99 美元”,
    “评分”: “4.6 颗星，最多 5 颗星。”,
    “评论”: 2377,
    “图片”: "https://i5.walmartimages.com/asr/7611030d-ded9-419e-b9df-bbd6e591f187.65129e104b761b44dd15365ec0edb600.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    “名称”: “USX MOUNT 全动态电视壁挂支架，适用于 47-90 英寸电视旋转倾斜延伸水平保持最大 132 磅 VESA 600x400 毫米，16 英寸木螺柱”,
    “价钱”: “当前价格现在 35.99 美元”,
    “评分”: “4.7 颗星，最多 5 颗星。”,
    “评论”: 789,
    “图片”: "https://i5.walmartimages.com/asr/e10076ea-53dc-478f-a266-d9a4125e8863.1635e558678d57ae7cb2693fd86a6b5c.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    “名称”: “CRUA 24\”165Hz/180Hz 曲面游戏显示器 - 全高清 1080P 无框电脑显示器，AMD FreeSync，低动态模糊，DP 和 HDMI 端口，黑色”,
    “价钱”: “当前价格现在 99.99 美元”,
    “评分”: “4.7 颗星，最多 5 颗星。”,
    “评论”: 936,
    “图片”: "https://i5.walmartimages.com/asr/1de1931f-f57b-4ab8-9a3a-88fa4da336a7.d2b8d7b8169070a8d8e42cbe69dd9c67.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    “名称”: “TOPVISION 无线安全摄像头、带户外夜视功能的 2K WiFi 摄像头、用于家庭安全系统的 IP66 户外防水摄像头、带 PIR 运动传感器的监控摄像头、2 路音频”,
    “价钱”: “当前价格现在 29.99 美元”,
    “评分”: “4.5 颗星，最多 5 颗星。”,
    “评论”: 3276,
    “图片”: "https://i5.walmartimages.com/seo/TOPVISION-Wireless-Security-Camera-2K-WiFi-Camera-Outdoor-Night-Vision-IP66-Waterproof-Home-System-Surveillance-PIR-Motion-Sensor-2-Way-Audio_910950fd-5ccf-4aab-b9e6-8a526a1ea8b2.40b1cb2164575b011f635749e2902a5b.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    “名称”: “Proscan Elite 10.1\”平板电脑/便携式 DVD 组合，32GB 存储，Android 11，1280x800 分辨率，黑色”,
    “价钱”: “当前价格现在 59.00 美元”,
    “评分”: “4 颗星，最多 5 颗星。”,
    “评论”: 161,
    “图片”: "https://i5.walmartimages.com/asr/85c66610-6cef-421b-b920-e88ed58648d5.848cf4839bf5839369e741c4d2624a0b.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    “名称”: “ULTIMEA 2.2 声道电视条形音箱，内置双低音炮，2 合 1 可分离蓝牙 5.3 条形音箱，低音最大可调电视环绕声条形音箱，HDMI-ARC/光纤/Aux 家庭影院扬声器，壁挂式”,
    “价钱”: “当前价格现在 55.99 美元”,
    “评分”: “4.5 颗星，最多 5 颗星。”,
    “评论”: 434,
    “图片”: "https://i5.walmartimages.com/asr/69f73701-876b-40dd-9ee5-45baa22436bf.af06bef0cf1b60cc4b9db55d27175e2c.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  }
]

数据提取技巧：有效抓取沃尔玛畅销商品的策略

在抓取沃尔玛畅销书数据时，必须使用有效的策略并遵循最佳实践，以确保数据收集过程顺利而不会遇到问题。 以下是一些关键提示：

  1. 使用Crawlbase抓取API：

利用 Crawlbase 爬行 API 进行结构化数据提取。 它简化了抓取过程，并提供对沃尔玛畅销商品数据的可靠访问。

  1. 实施速率限制：

在您的 API 请求和沃尔玛网站之间引入时间延迟。 这可以防止服务器过载并降低被阻止的风险。

  1. 轮换用户代理：

改变请求中的 User-Agent 标头以模拟不同的 Web 浏览器。 这使您的抓取活动看起来更像人类浏览。

  1. 优雅地处理验证码：

准备好处理验证码，沃尔玛可能会用它来验证您是否是机器人。 考虑使用验证码解决服务或自动化技术来解决这些问题。

  1. 保持代码更新：

定期检查和更新您的抓取代码，以适应沃尔玛网站结构的任何变化。 这确保了数据提取的持续准确性。

  1. 尊重机器人.txt：

遵守沃尔玛的 robots.txt 文件，该文件概述了网络爬行指南。 遵守这些规则可以帮助您避免法律和道德问题。

  1. 使用代理：

使用代理服务器更改您的 IP 地址，降低 IP 封禁的风险并将您的请求分布到多个 IP。

  1. 验证数据质量：

持续检查您抓取的数据的质量、准确性和时效性。 确保所收集信息的可靠性至关重要。

  1. 道德数据处理：

以合乎道德的方式处理抓取的数据，尊重用户隐私并遵守版权法和服务条款。

  1. 小样本测试：

在扩大抓取操作之前，请在较小的样本上测试代码，以识别并解决受控环境中的潜在问题。

有效抓取沃尔玛畅销产品的策略

总结

本教程为您提供了使用 JavaScript 和 Crawlbase 抓取 API 高效抓取沃尔玛畅销商品的知识。 对于那些有兴趣将数据提取技能扩展到其他主要零售平台（例如 Amazon, 易趣及 全球速卖通.

我们认识到与网络抓取相关的复杂性，并致力于改善您的体验。 如果您需要进一步的帮助或遇到任何障碍， Crawlbase支持团队 随时待命，提供专家帮助。 我们期待为您的网络抓取工作提供帮助。

常见问题解答

沃尔玛最畅销的商品是什么？

沃尔玛最畅销的产品是最受欢迎的产品，深受顾客的欢迎。 这些是许多人在沃尔玛商店或网上购买的商品。 畅销产品可以包括各种产品，从电子产品到服装、玩具和家庭必需品。 通过关注沃尔玛的畅销商品，您可以了解当前的流行趋势并了解其他购物者喜欢什么。 当您在沃尔玛购物或寻找礼物创意时，这些信息可以帮助您做出明智的选择。

如何从沃尔玛抓取数据？

要从 Walmart 抓取数据，您可以使用 JavaScript 和 Crawlbase Crawling API。 这个强大的组合使您可以自动化从沃尔玛网站收集信息的过程。 您可以提取产品详细信息、价格、评级等。 首先用 JavaScript 编写与沃尔玛网站交互的脚本，然后利用 Crawlbase 爬行 API 来访问和收集数据。 这是一种检索价格比较、趋势分析或任何其他目的所需信息的简单方法，使您的数据提取任务更轻松、更高效。

我可以从沃尔玛抓取数据吗？

是的，您可以从沃尔玛网站上抓取数据。 您可以使用网络抓取工具和技术收集产品详细信息、价格等信息。 但是，查看沃尔玛的服务条款和 robots.txt 文件对于确保您在其指南和政策范围内进行抓取非常重要。

沃尔玛的数据战略是什么？

沃尔玛的数据战略就是利用信息做出更好的决策。 他们收集店内和网上购买的数据，进行分析以了解客户偏好并改进运营。 通过利用数据，沃尔玛旨在为客户提供他们想要的东西，并简化其业务流程以提高效率。

我需要什么工具来抓取沃尔玛畅销商品？

您需要一个编程环境、一个 Web 浏览器、Crawlbase 爬行 API 和 JavaScript 基础知识。