Sut i Ddefnyddio Offeryn Sgrapio Data i Dynnu Data o Dudalennau Gwe

Os ydych chi'n copïo a gludo pethau oddi ar dudalennau gwe a'u rhoi â llaw mewn taenlenni, nid ydych chi naill ai'n gwybod beth yw crafu data (neu grafu gwe), neu rydych chi'n gwybod beth ydyw ond nid ydych chi wir yn awyddus iawn i'r syniad o dysgu sut i godio dim ond er mwyn arbed ychydig oriau i chi glicio.

Y naill ffordd neu’r llall, mae yna lawer o offer crafu data dim cod a all eich helpu chi allan, ac mae estyniad Data Miner’s Chrome yn un o’r opsiynau mwy greddfol. Os ydych chi'n lwcus, bydd y dasg rydych chi'n ceisio'i gwneud eisoes wedi'i chynnwys yn llyfr ryseitiau'r offeryn, ac ni fydd yn rhaid i chi hyd yn oed fynd trwy'r camau pwynt-a-chlicio sy'n gysylltiedig ag adeiladu eich un chi.

Sut mae Data Miner yn gweithio?

Mae Data Miner yn eich helpu i gael data oddi ar dudalennau gwe ac i mewn i ffeiliau Excel / CSV sydd wedi'u fformatio'n braf trwy edrych trwy destun y tudalennau rydych chi wedi'u llwytho. Mae hynny'n golygu y bydd angen i chi fod yn ddigon cyfforddus o leiaf gyda HTML i adnabod ychydig o batrymau, ond dim byd rhy helaeth. Bydd sgiliau uwch HTML a / neu JavaScript yn sicr yn helpu gyda rhai tasgau ond nid ydynt yn angenrheidiol ar gyfer y rhan fwyaf o bethau. Dylai fod gennych hefyd sgiliau taenlen sylfaenol o leiaf fel y gallwch fod yn siŵr bod eich allbwn yn lân ac yn drefnus.

1. Sefydlu Data Miner

Estyniad Glowyr Data

Gan ddefnyddio Chrome neu borwr Cromiwm arall, gosod yr estyniad. Bydd eicon pickaxe yr estyniad yn ymddangos yn eich bar offer, a bydd clicio arno yn mynd â chi i dudalen lle gallwch chi sefydlu cyfrif. Mae'r fersiwn am ddim yn rhoi 500 o sgrapiau'r mis i chi, sy'n fwy na thebyg yn ddigon i chi oni bai bod hyn yn rhywbeth rydych chi'n ei wneud bob dydd.

2. Llwythwch y data

Llwyth Glöwr Data

Yn gyntaf, llywiwch i'r dudalen rydych chi am dynnu data ohoni. Os oes gennych sawl tudalen o ddata neu os yw peth ohono wedi'i guddio y tu ôl i fotymau, mae hynny'n iawn – mae yna ffyrdd i ddelio â hynny. Am y tro, bydd angen sampl gynrychioliadol arnoch chi fel bod y rhaglen yn gwybod am beth i edrych.

3. Gwiriwch am rysáit

Ryseitiau Glowyr Data

Nesaf, agor Data Miner a gwirio'r tab “Cyhoeddus” i gael ryseitiau sy'n bodoli eisoes. Os ydych chi ar wefan boblogaidd, efallai bod rhywun arall eisoes wedi creu proses i gael y data rydych chi'n chwilio amdano, a fyddai'n arbed cryn dipyn o amser i chi. Safleoedd fel Google, Amazon, a Twitterer enghraifft, mae llawer o ryseitiau ar gael i'ch helpu chi i lawrlwytho dolenni, prisiau, testun a data arall ar unwaith. Gallwch chi brofi'r ryseitiau trwy glicio ar y botwm “Run” i weld rhagolwg o'r daenlen y mae Data Miner yn ei chynhyrchu. Gallwch hefyd drydar ryseitiau sy'n bodoli eisoes i gyd-fynd â'ch anghenion trwy daro'r botwm “Golygu”.

4. Math o dudalen

Math o Dudalen Glöwr Data

Iawn, felly ni weithiodd unrhyw ryseitiau premade i chi. Mae hynny'n iawn, gallwch chi wneud eich un eich hun. Cliciwch ar y botwm “Rysáit Newydd” i ddechrau.

Eich dewis cyntaf fydd “Tudalen Tudalen” neu “Tudalen Manylion.”

Dewiswch “Rhestr Tudalen” os ydych chi'n ceisio cael sawl rhes o ddata oddi ar un dudalen. Er enghraifft, efallai yr hoffech chi lawrlwytho dolen a theitl tudalen pob canlyniad chwilio neu gael dyddiad a chynnwys swyddi mewn porthiant. Mae'n debyg mai hwn yw'r math mwyaf cyffredin a'r un y byddwn yn ei ddefnyddio yma fel demo. (Mae'r camau ar gyfer tudalen fanylion yr un peth yn y bôn.)

Dewiswch “Manylion Tudalen” os oes gennych lawer o wybodaeth wahanol am un peth ar un dudalen tudalen cynnyrch, er enghraifft, lle mae angen i chi fachu ei bris, ei ddisgrifiad, ei ddolen, a'i sgôr a rhoi'r cyfan mewn un rhes.

Cam 5: Gwnewch eich rhesi

Dewis Rhes Miner Data 4

Taro'r botwm “Dod o Hyd” a symud eich llygoden nes bod y blwch dewis melyn yn cwmpasu'r holl ddata y byddai ei angen arnoch ar gyfer un cofnod yn eich taenlen derfynol. Er enghraifft, os ydych chi'n lawrlwytho canlyniadau chwilio, byddai angen i chi dynnu sylw at faes digon mawr i gynnwys y teitl, yr URL a'r disgrifiad, y gallwch chi roi colofnau ar wahân ym mhob un o'r cam nesaf. I wneud eich dewis, tarwch y fysell Shift. Peidiwch â phoeni os cliciwch ar ddamwain; Mae Data Miner yn arbed eich holl gynnydd mewn rysáit hyd yn oed os ydych chi'n llywio i ffwrdd o'r dudalen.

Yna, byddwch chi eisiau gwirio o leiaf un o'r blychau yn yr adran “Element’s Classes” neu “HTML Element Type”. Yn ddelfrydol, fe welwch y dewis yn dyblygu i gwmpasu pob elfen ar y dudalen sydd yn yr un categori â'r un a ddewisoch.

Dewis Rhes Miner Data 5

Os gwelwch nad yw'r dewisydd yn cynnwys popeth sydd ei angen arnoch, ceisiwch ddewis un o'r elfennau yn unig a phwyso "Select Parent." Bydd hyn yn gwneud y blwch yn fwy ac yn ôl pob tebyg yn dal popeth sydd ei angen arnoch chi. Os na, efallai y bydd angen i chi gloddio i'r HTML ychydig bach a nodi'r dosbarthiadau a'r mathau o'r elfennau sydd eu hangen arnoch chi. Pan nad ydych yn siŵr, tarwch “Select Parent” nes bod y blwch mor fawr ag y gall ei gael heb gwmpasu mwy nag un cofnod rhestr, gan y bydd hyn yn rhoi mwy o hyblygrwydd i chi wrth ddewis colofnau.

Mae Data Miner yn rhoi opsiwn “View Element’s HTML” i chi ar y gwaelod ac mae hefyd yn caniatáu ichi deipio dewiswyr personol i mewn. Os ydych chi am ddweud, cydiwch yn yr holl ddolenni ar dudalen gyda'r “cynnyrch” dosbarth, fe allech chi deipio a.product i mewn. Dyma lle bydd rhywfaint o wybodaeth sylfaenol HTML / CSS yn ddefnyddiol iawn.

Dewis Rhes Miner Data 6"width =" 600 "uchder =" 315

Unwaith y byddwch yn ôl yn newislen y brif res, dylech weld “Row Count” gyda nifer y cofnodion y bydd eich rysáit yn eu creu mewn taenlen. Os nad yw'n dal popeth, bydd angen i chi wirio'ch dewis rhes yn ddwbl.

6. Rhannwch eich data yn golofnau

Dewis Col Miner Data 1

Ar ôl i chi ddewis yr holl ddata ar gyfer eich rhesi, mae'n bryd cael y cyfan yn edrych yn braf trwy ei rannu'n wahanol gategorïau colofn. Dylai pob dewis a wnewch yma fod yn is-adran o'r blwch a ddewisoch ar gyfer eich rhesi.

Dewis Col Miner Data 2

I wneud colofn, teipiwch enw ar ei gyfer a defnyddiwch y botwm Find i ddewis yr hyn rydych chi am ei dynnu, yn union yr un peth ag y gwnaethoch chi ar gyfer y rhesi. Mae'n debyg mai'r testun mwyaf cyffredin fydd testun, URL, neu URL delwedd. Gall cael URLs trwy hofran dros ddolenni testun fod ychydig yn anodd; efallai y bydd yn rhaid i chi wasgu “dewis rhiant” nes i chi gyrraedd lefel lle mae'r Math Elfen , sef y tag HTML ar gyfer dolenni.

Dewis Col Miner Data 1

Er mwyn sicrhau bod gennych y math cywir o ddata yn eich colofn, pwyswch yr eicon llygad ar ochr dde enw pob colofn, wrth ymyl y rhif sy'n dangos i chi faint o golofnau sydd wedi'u dewis. Bydd hyn yn dangos rhagolwg i chi o bob cofnod rhes ar gyfer y golofn honno. Os oes rhywbeth i ffwrdd, ewch yn ôl a newid y tagiau a'r mathau y gwnaethoch chi eu dewis i adnabod y rhesi. Peidiwch â bod ofn agor y gwyliwr HTML a gwirio am batrymau sy'n gysylltiedig â'r data rydych chi'n ceisio cydio ynddo.

7. Dywedwch wrth Data Miner sut i gyrraedd y dudalen nesaf

Data Miner Nav 1

Os oes gennych chi sawl tudalen o ddata i'w tynnu, mae'n debyg nad ydych chi am fod yn clicio trwy bob un ac yn rhedeg eich rysáit drosodd a throsodd. I fynd o gwmpas hynny, dim ond dweud wrth Data Miner ble i ddod o hyd i'r botwm llywio mae angen iddo glicio i gyrraedd y dudalen nesaf. Byddwch yn ofalus i beidio â dweud wrtho am glicio rhywbeth fel “Tudalen 2, ”Fel yna bydd yn mynd i, wel, Tudalen 2. Unwaith eto, gwnewch yn siŵr eich bod chi'n dewis elfen, a defnyddiwch y botwm Llywio Prawf i sicrhau ei fod yn gweithio.

Data Miner Nav 2

8. Dywedwch wrth Data Miner ble i glicio neu sgrolio i lwytho data

Elfen Camau Gweithredu Glowyr Data

Nid yw rhai tudalennau'n llwytho data nes i chi glicio rhywbeth neu sgrolio i lawr. Yn ffodus, gall Data Miner wneud y pethau hyn hefyd! Defnyddiwch yr offeryn “Dod o Hyd” ar y brig (dylech fod yn eithaf da am hynny erbyn hyn) i ddewis yr elfen y mae angen i chi ei thrin, yna rhowch y dewisydd yn y blwch priodol a'i brofi i sicrhau ei fod yn gweithio.

Gall cyfrifo'n union pa ddetholwr fydd yn actifadu'r elfen neu'r bar sgrolio anfeidrol fod yn anodd, ond bydd gwybodaeth HTML sylfaenol a rhywfaint o dreial a chamgymeriad yn eich cyrraedd yn eithaf pell yma. Mae'r rhan fwyaf o'r pethau y bydd angen i chi eu trin yma yn seiliedig ar JavaScript, ond dim ond y dewisydd CSS sy'n gysylltiedig â'r weithred i'w actifadu y mae angen i Data Miner ei wybod, felly ni ddylai fod angen i chi chwarae o gwmpas gydag unrhyw god yn y rhan fwyaf o achosion.

Mae'r cam nesaf hefyd yn caniatáu ichi ychwanegu JS arferiad i mewn i wneud bron iawn beth bynnag a fynnoch, ond mae hynny'n eithaf datblygedig ac yn mynd y tu hwnt i'r hyn sydd ei angen arnom ar gyfer crafu sylfaenol.

9. Arbedwch a rhedeg y rysáit

Cadw Glowyr Data

Llongyfarchiadau! Nawr mae'n bryd gweld a ddaeth y cyfan at ei gilydd. Rhedeg y rysáit ar y dudalen rydych chi arni a gwirio'r rhagolwg i weld a yw'ch rhesi a'ch colofnau'n gwneud yr hyn maen nhw i fod i'w wneud. Os na, gallwch fynd yn ôl a golygu'r rysáit.

Rhedeg Glowyr Data 1

Os yw popeth yn ymddwyn fel y dylai, gallwch ddefnyddio'r botwm “Tudalen Nesaf” i ddweud wrth y sgrafell faint o dudalennau y dylai gropian a pha mor gyflym y dylai fynd / (Gall mynd yn rhy gyflym beri i'r system eich fflagio fel bot.)

Pasiant Rhedeg Glowyr Data

Ar ôl i chi gael yr holl ddata sydd ei angen arnoch, gallwch ddewis pa fformat ffeil yr hoffech ei ddefnyddio i'w lawrlwytho.

Data Miner Excel Csv

Rwy'n cael trafferth; a oes ffordd haws?

Os nad yw'r rhaglen Data Miner yn gweithio allan i chi, mae yna ddigon o offer crafu data eraill ar gael: ParseHub, Scraper, Octoparse, Import.io, VisualScraper, ac ati. Efallai y bydd gan rai ohonyn nhw ryngwynebau mwy greddfol a mwy o awtomeiddio, ond bydd angen i chi wybod o leiaf ychydig am HTML a sut mae'r we wedi'i threfnu. Yr hyn sy'n gwneud Data Miner yn arbennig o braf i ddechreuwyr yw ei lyfrgell ryseitiau torfol, a allai o bosibl eich helpu i osgoi hyd yn oed y cyfarfyddiad lleiaf â chod. Mae hynny, ynghyd â’i becyn sgrapio misol rhad ac am ddim eithaf hael, yn ei wneud yn offeryn gweddus iawn ar gyfer y mwyafrif o anghenion.

A yw'r erthygl hon yn ddefnyddiol?