Hvordan laste ned websider og filer ved hjelp av wget



av

Wget-verktøyet laster ned websider, filer og bilder fra nettet ved hjelp av Linux-kommandolinjen. Du kan bruke en enkelt wget-kommando for å laste ned fra et nettsted eller sette opp en inndatafil for å laste ned flere filer på flere nettsteder. I følge manualsiden kan wget brukes selv når brukeren har logget av systemet. For å gjøre dette, bruk nohup-kommandoen.


Funksjoner av wget Command

Du kan laste ned hele nettsteder ved hjelp av wget, og konverter koblingene til å peke til lokale kilder slik at du kan se et nettsted offline. Wget-verktøyet prøver også en nedlasting på nytt når forbindelsen synker og fortsetter der den slapp, hvis mulig, når forbindelsen kommer tilbake.

Andre funksjoner i wget er som følger:

  • Last ned filer ved hjelp av HTTP, HTTPS og FTP.
  • Gjenoppta nedlastinger.
  • Konverter absolutte lenker på nedlastede websider til relative URL-er, slik at nettsteder kan sees offline.
  • Støtter HTTP-fullmakter og informasjonskapsler.
  • Støtter vedvarende HTTP-tilkoblinger.
  • Kan løpe i bakgrunnen selv når du ikke er logget på.
  • Fungerer på Linux og Windows.

Hvordan laste ned et nettsted ved hjelp av wget

For denne guiden vil du lære hvordan du laster ned denne Linux-bloggen:

wget www.ever

Før du begynner, må du opprette en mappe på maskinen din ved hjelp av mkdir-kommandoen, og deretter flytte til mappen ved hjelp av cd-kommandoen.

For eksempel:

mkdir hverdagslinuxbruker
cd hverdagslinuxbruker
wget www.ever

Resultatet er en enkelt index.html-fil som inneholder innholdet hentet fra Google. Bildene og stilarkene holdes på Google.

For å laste ned hele siden og alle sidene, bruk følgende kommando:

wget -r www.ever

Dette laster ned sidene rekursivt opp til maksimalt 5 nivåer dypt. Fem nivåer dypt er kanskje ikke nok for å få alt fra nettstedet. Bruke -l bytt for å stille inn antall nivåer du ønsker å gå til, som følger:

wget -r -l10 www.ever

Hvis du vil ha uendelig rekursjon, bruk følgende:

wget -r -l inf www.ever

Du kan også bytte ut inf med 0, som betyr det samme.

Det er et problem til. Du kan få alle sidene lokalt, men lenkene på sidene peker mot det opprinnelige stedet. Det er ikke mulig å klikke lokalt mellom lenkene på sidene.

For å omgå dette problemet, bruk -k bytt for å konvertere lenkene på sidene for å peke til den lokale nedlastede ekvivalenten, som følger:

wget -r -k www.ever

Hvis du ønsker å få et komplett speil på et nettsted, bruker du følgende bryter, som fjerner nødvendigheten av å bruke -r, -kog -l brytere.

wget -m www.ever

Hvis du har et nettsted, kan du lage en fullstendig sikkerhetskopi ved hjelp av denne enkle kommandoen.


Kjør wget som en bakgrunnskommando

Du kan få wget til å kjøre som en bakgrunnskommando, slik at du kan fortsette arbeidet ditt i terminalvinduet mens filene lastes ned. Bruk følgende kommando:

wget -b www.ever

Du kan kombinere brytere. For å kjøre wget-kommandoen i bakgrunnen mens du speiler nettstedet, bruker du følgende kommando:

wget -b -m www.ever

Du kan forenkle dette ytterligere, som følger:

wget -bm www.ever

Logging

Hvis du kjører wget-kommandoen i bakgrunnen, ser du ikke noen av de normale meldingene den sender til skjermen. For å sende disse meldingene til en loggfil slik at du når som helst kan se fremgangen, bruk kommandoen tail.

For å sende informasjon fra wget-kommandoen til en loggfil, bruk følgende kommando:

wget -o / path / to / mylogfile www.ever

Det motsatte er å ikke kreve logging i det hele tatt og ingen utdata til skjermen. For å utelate all utdata, bruk følgende kommando:

wget -q www.ever


Last ned fra flere nettsteder

Du kan konfigurere en inndatafil for nedlasting fra mange forskjellige nettsteder. Åpne en fil ved hjelp av favorittredigeringsprogrammet eller cat-kommandoen, og oppgi nettsteder eller lenker du kan laste ned fra på hver linje i filen. Lagre filen, og kjør deretter følgende wget-kommando:

wget -i /

Bortsett fra å sikkerhetskopiere nettstedet ditt eller finne noe å laste ned for å lese offline, er det lite sannsynlig at du vil laste ned et helt nettsted. Det er mer sannsynlig at du laster ned en enkelt URL med bilder eller laster ned filer som zip-filer, ISO-filer eller bildefiler.

Med det i tankene trenger du ikke å skrive inn følgende i inndatafilen ettersom det er tidkrevende:

  • http://www.myfileserver.com/file1.zip
  • http://www.myfileserver.com/file2.zip
  • http://www.myfileserver.com/file3.zip

Hvis du vet at grunnadressen er den samme, angir du følgende i inndatafilen:

  • file1.zip
  • file2.zip
  • file3.zip

Du kan deretter oppgi grunn-URL som en del av wget-kommandoen, som følger:

wget -B http://www.myfileserver.com -i /

Prøv på nytt

Hvis du setter opp en kø med filer som skal lastes ned i en inndatafil og lar datamaskinen kjøre for å laste ned filene, kan det hende at inntaksfilen sitter fast mens du er borte, og prøver å laste ned innholdet på nytt. Du kan spesifisere antall forsøk ved å bruke følgende bryter:

wget -t 10 -i /

Bruk kommandoen ovenfor i forbindelse med -T bytt for å spesifisere en tidsavbrudd i sekunder, som følger:

wget -t 10 -T 10 -i /

Ovennevnte kommando vil prøve 10 ganger på nytt og vil koble til i 10 sekunder for hver lenke i filen.

Det er også upraktisk når du laster ned 75% av en 4-gigabyte-fil på en langsom bredbåndstilkobling bare for at forbindelsen skal falle. Hvis du vil bruke wget til å prøve på nytt fra hvor den stoppet nedlastingen, bruker du følgende kommando:

wget -c www.myfileser

Hvis du hamrer en server, kan det hende at verten ikke liker det og kan blokkere eller drepe forespørslene dine. Du kan spesifisere en ventetid for å spesifisere hvor lenge du skal vente mellom hver henting, som følger:

wget -w 60 -i /

Ovennevnte kommando venter 60 sekunder mellom hver nedlasting. Dette er nyttig hvis du laster ned mange filer fra en enkelt kilde.

Noen nettverter kan se frekvensen og blokkere deg. Du kan gjøre ventetiden tilfeldig for å få det til å se ut som om du ikke bruker et program, som følger:

wget - tilfeldig-vent -i /

Beskytt nedlastingsgrenser

Mange internettleverandører bruker nedlastingsgrenser for bruk av bredbånd, spesielt for de som bor utenfor en by. Det kan være lurt å legge til en kvote slik at du ikke overskrider nedlastingsgrensen. Du kan gjøre det på følgende måte:

wget -q 100m -i /

De -q kommandoen fungerer ikke med en enkelt fil. Hvis du laster ned en fil som er 2 gigabyte i størrelse, bruker du -q 1000m hindrer ikke at filen lastes ned.

Kvoten brukes bare når du laster ned rekursivt fra et nettsted eller når du bruker en inndatafil.

Kom deg gjennom sikkerhet

Noen nettsteder krever at du logger på for å få tilgang til innholdet du ønsker å laste ned. Bruk følgende brytere for å spesifisere brukernavn og passord.

wget --bruker = ditt brukernavn - passord

På et flerbruker-system, når noen kjører ps kommandoen, kan de se brukernavnet og passordet ditt.

Andre nedlastingsalternativer

Som standard -r switch laster ned rekursivt innholdet og oppretter kataloger når det går. For å få alle filene til å lastes ned til en enkelt mappe, bruk følgende bryter:

Det motsatte av dette er å tvinge til å opprette kataloger som kan oppnås ved hjelp av følgende kommando:

Hvordan laste ned visse filtyper

Hvis du vil laste ned rekursivt fra et nettsted, men bare vil laste ned en bestemt filtype, for eksempel en MP3 eller et bilde, for eksempel en PNG, kan du bruke følgende syntaks:

wget -A og

Det motsatte av dette er å ignorere visse filer. Kanskje du ikke vil laste ned kjørbare filer. I dette tilfellet bruker du følgende syntaks:

wget -R &

Cliget

Det er et Firefox-tillegg som heter cliget. Slik legger du til dette i Firefox:

  1. Besøk https://addons.mozilla.org/en-US/firefox/addon/cliget/ og klikk på legge til Firefox knapp.

  2. Klikk på installere når den vises, og start deretter Firefox på nytt.

  3. For å bruke cliget, besøk en side eller fil du vil laste ned og høyreklikk. En hurtigmeny vises kalt cliget, og det er alternativer for kopier til wget og kopier for å krølle.

  4. Klikk på kopier til wget alternativet, åpne et terminalvindu, høyreklikk og velg pasta. Den aktuelle wget-kommandoen limes inn i vinduet.

Dette sparer deg for å måtte skrive kommandoen selv.

Sammendrag

Wget-kommandoen har en rekke alternativer og brytere. For å lese manualsiden for wget, skriv inn følgende i et terminalvindu:

mann wget

#goog-gt-tt {display:none !important;}.goog-te-banner-frame {display:none !important;}.goog-te-menu-value:hover {text-decoration:none !important;}body {top:0 !important;}#gtranslate_element {display:none!important;}

var gt_not_translated_list = ["wget -c www.myfileser","wget -r -k www.ever","wget -q www.ever","file1.zip","Cliget","wget -t 10 -i /","wget -r www.ever","wget -b -m www.ever","wget -b www.ever","wget -r -l inf www.ever","wget www.ever","wget -i /","wget -q 100m -i /","wget -w 60 -i /","wget -t 10 -T 10 -i /","wget -m www.ever","wget -B http://www.myfileserver.com -i /","wget -bm www.ever","wget -r -l10 www.ever"];
document.cookie = "googtrans=/auto/no; domain=.balogs.xyz";
document.cookie = "googtrans=/auto/no";
function GTranslateElementInit() {new google.translate.TranslateElement({pageLanguage: 'auto',layout: google.translate.TranslateElement.InlineLayout.SIMPLE,autoDisplay: false,multilanguagePage: true}, 'gtranslate_element');}


Legg igjen en kommentar