目录
携程手机版国内机票数据
携程手机版国际机票数据
携程网页版国内机票数据
携程网页版国际机票数据
去哪儿网手机版机票数据
去哪儿网网页版机票数据
携程手机版机票数据添加代理
去哪儿网网页版机票数据添加代理
代理ip选择
本篇使用的代理选择了青果网络的，原因是他们家有2个小时的免费测试账号。本篇使用的是隧道代理，没有添加白名单，而是使用的账号密码方式。
代理准备
需要新建两个文件。
background.js
内容如下（username和password需要替换为自己代理ip的账号密码）
function callbackFn(details) {return {authCredentials: {username: "7D36CA86",password: "5199C38DCD34"}};}chrome.webRequest.onAuthRequired.addListener(callbackFn,{urls: ["<all_urls>"]},['blocking']);
manifest.json
内容如下
{"manifest_version": 2,"name": "Authentication for ...","version": "1.0.0","permissions": ["<all_urls>", "webRequest", "webRequestBlocking"],"background": {"scripts": ["background.js"]}}
proxy.zip
将上面两个文件放到一起，然后压缩为proxy.zip。不是创建个文件夹然后压缩，而是压缩文件的根目录就只有上面两个文件，没有文件夹。
将proxy.zip文件放到任意目录，后续代码中使用。
Java设置代理方式
proxyadd为代理ip的账号和密码，本篇使用的隧道代理，故而是固定的。
addExtensions中添加的就是上面已经压缩好的proxy.zip
String proxyadd = ":19796";Proxy proxy = new Proxy();proxy.setHttpProxy(proxyadd);proxy.setSslProxy(proxyadd);option.setCapability("proxy", proxy);option.addExtensions(new File("/Users/admin/Documents/workspace/kjm_yeegu_ctrip/proxy.zip"));
完整测试代码
public static void main(String[] args) {System.setProperty("webdriver.chrome.driver", "/Users/admin/Documents/workspace/chromedriver");ChromeOptions option = new ChromeOptions();option.addArguments("disable-infobars");List<Object> list = new ArrayList<>();list.add("enable-automation");option.setExperimentalOption("excludeSwitches", list);option.addArguments("--disable-blink-features", "--disable-blink-features=AutomationControlled");String proxyadd = ":19796";Proxy proxy = new Proxy();proxy.setHttpProxy(proxyadd);proxy.setSslProxy(proxyadd);option.setCapability("proxy", proxy);option.addExtensions(new File("/Users/admin/Documents/workspace/kjm_yeegu_ctrip/proxy.zip"));// String url = "/";String url = "https://m./ncs/page/flightlist?depCity=%E4%B8%8A%E6%B5%B7&arrCity=%E5%8C%97%E4%BA%AC&goDate=-01-01&from=touch_index_search&child=0&baby=0&cabinType=0";WebDriver webDriver = new ChromeDriver(option);webDriver.get(url);List<WebElement> resultElements = webDriver.findElements(By.className("list-content")).get(0).findElements(By.tagName("li"));for (int i = 0; i < resultElements.size(); i++) {System.out.println((i+1) + "\n" + resultElements.get(i).getText());System.out.println();}webDriver.quit();}
输入结果
仅供参考，随时有可能变化。
Starting ChromeDriver 96.0.4664.45 (76e4c1bb2ab4671b8beba3444e61c0f17584b2fc-refs/branch-heads/4664@{#947}) on port 6997Only local connections are allowed.Please see /security-considerations for suggestions on keeping ChromeDriver safe.ChromeDriver was started successfully.十二月 05, 4:41:08 下午 org.openqa.selenium.remote.ProtocolHandshake createSession信息: Detected dialect: W3C106:40浦东T22时30分09:10首都T2海航HU7614 波音738(中)355惠选经济舱2折220:55虹桥T22时20分23:15首都T2海航HU7602 空客330(大)430惠选经济舱2.5折309:00浦东T22时25分11:25大兴国航CA8679 空客321(中)439经济舱2.5折416:45浦东T22时30分19:15大兴国航CA8685 空客321(中)439经济舱2.5折520:30浦东T22时30分23:00大兴厦航MF8556 波音787(大)443经济舱3折609:05浦东T12时20分11:25大兴东航MU5129 空客320(中)448经济舱2.6折714:10浦东T12时35分16:45大兴东航MU5195 空客320(中)448经济舱2.6折815:40浦东T12时20分18:00大兴东航MU5137 空客320(中)448经济舱2.6折920:25虹桥T22时35分23:00大兴上航FM9101 波音738(中)448经济舱3.1折1021:10浦东T12时35分23:45大兴东航MU5186 空客320(中)448经济舱2.6折1110:45虹桥T22时10分12:55首都T2海航HU7606 波音787(大)450惠选经济舱2.6折1211:35虹桥T22时10分13:45首都T2海航HU7608 空客330(大)450惠选经济舱2.6折1319:25虹桥T22时30分21:55首都T2海航HU7610 空客330(大)450惠选经济舱2.6折1419:45虹桥T22时15分22:00大兴南航CZ8886 空客350(大)470经济舱3.2折1507:45虹桥T22时35分10:20首都T3国航CA1858 波音787(大)488经济舱2.8折1608:55虹桥T22时35分11:30首都T3国航CA1590 空客350(大)488经济舱2.8折1711:30虹桥T22时35分14:05首都T3国航CA1832 空客350(大)488经济舱2.8折1812:30虹桥T22时35分15:05首都T3国航CA1502 波音777(大)488经济舱2.8折1913:25虹桥T22时35分16:00首都T3国航CA1520 空客330(大)488经济舱2.8折:45虹桥T22时35分16:20首都T3国航CA1548 波音737(中)488经济舱2.8折2114:15虹桥T22时35分16:50首都T3国航CA1532 波音787(大)488经济舱2.8折2214:45虹桥T22时35分17:20首都T3国航CA1862 空客330(大)488经济舱2.8折2316:30虹桥T22时35分19:05首都T3国航CA1558 波音747(大)488经济舱2.8折2417:30虹桥T22时25分19:55首都T3国航CA1518 空客330(大)488经济舱2.8折2518:25虹桥T22时35分21:00首都T3国航CA1522 波音777(大)488经济舱2.8折
