20210130_web crawler_practice.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 71,
   "id": "typical-mounting",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "晶片換疫苗？ 司徒文：正向做法對雙邊都有幫助 - 政治 - 自由時報電子報\n",
      "2021/01/30 14:43\n",
      "https://img.ltn.com.tw/Upload/news/600/2021/01/30/phprZnkjE.jpg\n",
      "由台灣安保協會主辦的「拜登時代下的台美關係展望」座談會今日舉行，司徒文應邀出席進行專題演講。（記者叢昌瑾攝）\n",
      "〔記者彭琬馨／台北報導〕台積電等台灣晶片廠成全球晶片短缺下各國的求助對象，美國在台協會前處長司徒文今出席台灣安保協會舉辦的座談會時受訪說，台灣重要的原因之一即在於其在許多現代科技上是重要的中心，台灣可以有許多貢獻；司徒文說，若台灣在這方面幫助美國，他希望美國也能在別的領域幫助台灣，積極正向作法對雙邊都有幫助。\n",
      "台灣爭取與美國進行首場供應鏈產業合作會議，經濟部昨證實，將在二月五日上午以視訊舉行，內容不限於半導體及車用晶片議題；立法院昨則通過國民黨團提出的主決議，呼籲衛福部應協同相關部會啟動對外採購疫苗的談判機制，並優先提供給第一線醫護及工作人員。\n",
      "對此司徒文今受訪時強調，若台灣在這方面（晶片）能幫助美國，他希望美國也能在其他領域（疫苗）幫助台灣，積極正向作法對雙邊都有幫助，他認為這是好事。\n",
      "針對拜登政府是否延續川普的對台政策，司徒文說，很多拜登政府時期的官員已經表示要幫助台灣，他認為兩政府間的對台政策沒有那麼大的區別；司徒文說，他認為川普自己本身並不在乎台灣，對他來說最重要的是跟中國達成貿易協議，在川普時期所有美台關係的進步，多半是來自前國務卿龐皮歐；司徒文表示，顧問是最重要的，他們支持台灣。\n",
      "司徒文表示，拜登就任至今才2週，但目前發展都是好的，他認為應該能期待美台關係未來有更多進展。\n",
      "針對外媒報導，美國及其盟邦的情報顯示，中國軍機曾模擬對台海附近的美國海軍「羅斯福號」航空母艦進行飛彈攻擊；司徒文說，美國應該進一步改善他們的海軍，中共目前擁有更多更大的武器，美國應與中國硬碰硬。\n",
      "至於是否應提升AIT至大使館地位，司徒文認為，也許應該跟台灣政府就此事談一談，不過他認為名字不是最重要的，最重要的是合作的情況，國防、貿易、科技這種才是最重要的，若合作愉快，名字叫什麼他不在乎，他認為關於外交關係也是一樣的。\n",
      "相關新聞：\n",
      "共機擾南海！美軍嗆：破壞區域穩定、對美不構成威脅\n",
      "https://news.ltn.com.tw/news/world/breakingnews/3426859\n",
      "國民黨團提「晶片換疫苗」 獲朝野支持\n",
      "https://news.ltn.com.tw/news/politics/paper/1428896\n",
      "台中弘富重劃區 將推出全新的指標性建案\n",
      "https://pv.ltn.com.tw/click?ano=2021012995319356\n",
      "抵南海前通過巴士海峽！羅斯福號艦載機升空畫面曝光\n",
      "https://news.ltn.com.tw/news/world/breakingnews/3424294\n",
      "台積電晶片換疫苗？ 陳時中：樂觀其成\n",
      "https://news.ltn.com.tw/news/life/breakingnews/3424070\n",
      "['https://news.ltn.com.tw/news/world/breakingnews/3426859', 'https://news.ltn.com.tw/news/politics/paper/1428896', 'https://pv.ltn.com.tw/click?ano=2021012995319356', 'https://news.ltn.com.tw/news/world/breakingnews/3424294', 'https://news.ltn.com.tw/news/life/breakingnews/3424070']\n"
     ]
    }
   ],
   "source": [
    "#抓自由時報即時新聞\n",
    "\n",
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "\n",
    "#要抓資料，先把html頁面語法下載下來，存入res變數中\n",
    "res = requests.get('https://news.ltn.com.tw/news/politics/breakingnews/3427158')\n",
    "#print(res.text)\n",
    "\n",
    "#用beautifulsoup套件來解析html頁面\n",
    "soup = BeautifulSoup(res.text, 'html.parser')\n",
    "#print(soup)\n",
    "#用beatifulsoup的功能，把標題擷取出來\n",
    "title_elem = soup.find('title')\n",
    "#print(title_elem)\n",
    "print(title_elem.string)\n",
    "\n",
    "#抓取時間\n",
    "time_elem_list = soup.select('span.time')\n",
    "#print(time_elem_list[0])\n",
    "print(time_elem_list[0].string.strip())\n",
    "\n",
    "#抓取圖片的url\n",
    "image_elem = soup.select('a.image-popup-vertical-fit')\n",
    "#print(image_elem[0])\n",
    "print(image_elem[0]['href'])\n",
    "print(image_elem[0]['title'])\n",
    "\n",
    "#抓取文章內容\n",
    "article_elem = soup.select('div.text > p')\n",
    "del article_elem[-1]\n",
    "del article_elem[2:4]\n",
    "for x in article_elem:\n",
    "    print(x.string)\n",
    "\n",
    "#抓取相關新聞\n",
    "print(\"相關新聞：\")\n",
    "related_news_elem = soup.select('div[data-desc = \"相關新聞\"] > a')\n",
    "for x in related_news_elem:\n",
    "    print(x[\"title\"])\n",
    "    print(x[\"href\"])\n",
    "\n",
    "#將相關新聞的網址存在queue list裡面\n",
    "queue = []\n",
    "for x in related_news_elem:\n",
    "    url = x[\"href\"]\n",
    "    queue.append(url)\n",
    "\n",
    "#取出queue裡面的url\n",
    "while 1:\n",
    "    "
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}