scrapy底層使用的是twisted框架, 是異步抓取的一個框架。
scrapy的優勢:1.已經幫你完成了請求, 下載,以及請求失敗重試, 統計;
2.使你寫爬蟲更加規范化;
3.性能很好(除非自己寫出來阻塞);
4.擴展性好, 而且附加的庫也比較多, 比如代理、緩存、以及管理web都比較多。
BCDB 比如class類型 class = "nav"的話 那么CSS對應 .nav{}C 比如 body input 就是直接對應 body{} input{}D ID選擇器 id="name" 那么css對應 #name{}
css樣式屬性list-style-image :設定列表項目符號的自定義圖像。其值是一個引用圖像的URL路徑。
url ( url ) —— 使用絕對或相對 url 地址指定圖像。
選擇器body>div 只操作body下級的div。div1+div2 只選擇div1 同級 隨后 相鄰最近的div2div1~p 選擇div1下所有的p屬性選擇器[attr]{} 例:[class]{color:red;} [class="text"]{color:red;}[class|="nav"]{color:red;} 選擇所有class屬性,并且屬性值唯一為nav-開頭的元素[class~="nav"]{color:red;} 選擇所有class屬性,并且包含單個完整的nav屬性值的元素[class1][class="text"]{color:red;}選擇具有class1屬性,并且具有class屬性且屬性值唯一為text的元素