Уредот wget ви овозможува да преземате веб-страници, датотеки и слики од интернет користејќи ја командната линија на Линукс.
Можете да користите само една команда wget за да ја преземете од некоја локација или да поставите влезна датотека за да преземете повеќе датотеки на повеќе страници.
Според упатството страница wget може да се користи дури и кога корисникот се одјавил од системот. За да го направите ова, ќе ја користите командата nohup.
Употребата на wget ќе се обиде да преземе дури и кога врската ќе се намали, продолжувајќи од каде што е можно, кога е можно, кога врската се враќа.
Можете да даунлоадирате цели веб-страници користејќи wget и да ги конвертирате линковите за да укажете на локални извори за да можете да гледате веб-локација офлајн.
Карактеристиките на wget се како што следува:
- Даунлоадирајте датотеки користејќи HTTP, HTTPS и FTP
- Продолжете со преземања
- Конвертирајте апсолутни врски во преземените веб-страници до релативни URL-адреси, така што веб-сајтовите може да се гледаат офлајн
- Поддржува HTTP прокси и колачиња
- Поддржува постојани HTTP врски
- Може да работи во заднина дури и кога не сте најавени
- Работи на Linux и Windows
Како да преземете веб-страница Користење на wget
За ова упатство, ќе ви покажам како да го преземете мојот личен блог.
wget www.everydaylinuxuser.com
Вреди да се создаде своја сопствена папка на вашата машина со помош на командата mkdir, а потоа да се премести во папката со помош на командата cd .
На пример:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Резултатот е единствена index.html датотека. Сам по себе, оваа датотека е прилично бескорисна бидејќи содржината сè уште е повлечена од Google и сликите и стиловите сè уште се чуваат во Google.
За да ја преземете целата страница и сите страници, можете да ја користите следнава команда:
wget -r www.everydaylinuxuser.com
Ова ги превзема страниците рекурзивно до најмногу 5 нивоа длабоко.
Длабоко 5 нивоа не може да биде доволно за да се добие сè од страницата. Можете да го користите копчето -l за да го поставите бројот на нивоа на кои сакате да одите на следниов начин:
wget -r -l10 www.everydaylinuxuser.com
Ако сакате бесконечна рекурзија, можете да го користите следново:
wget -r -l inf www.everydaylinuxuser.com
Можете исто така да го замените inf со 0 што значи истото.
Постои уште еден проблем. Може да ги добиете сите страници локално, но сите линкови на страниците се уште укажуваат на нивното оригинално место. Според тоа, не е можно локално да се кликне меѓу линковите на страниците.
Можете да го најдете овој проблем со користење на -k прекинувачот кој ги конвертира сите линкови на страниците, за да посочи на нивниот локално симнат еквивалент на следниов начин:
wget -r -k www.everydaylinuxuser.com
Ако сакате да добиете комплетно огледало на веб страната, можете едноставно да го користите следниов прекинувач кој ја одзема потребата за користење на -r -k и -l прекинувачи.
wget-m www.everydaylinuxuser.com
Затоа, ако имате сопствена веб-страница, можете да направите комплетна резервна копија користејќи ја оваа едноставна команда.
Стартувај wget како позадина команда
Можете да го добиете wget да се кандидира како позадина команда оставајќи можете да продолжите со својата работа во терминалниот прозорец, додека преземете датотеки.
Едноставно користете ја следнава команда:
wget -b www.everydaylinuxuser.com
Вие, секако, можете да ги комбинирате прекинувачите. За да ја стартувате командата wget во заднина, додека ја пресликувате страницата, ќе ја користите следнава команда:
wget -b -m www.everydaylinuxuser.com
Можете да го поедноставите ова понатаму на следниов начин:
wget -bm www.everydaylinuxuser.com
Пријавување
Ако ја извршувате командата wget во позадина, нема да видите некоја нормална порака што ја испраќа на екранот.
Можете да ги добиете сите оние пораки испратени до датотеката за евиденција, така што можете да проверите на напредокот во кое било време користејќи ја командата со опашка .
За да ги изнесете информациите од командата wget во лог датотека, користете ја следнава команда:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
На задната страна, се разбира, е да не бараат никаков најавување на сите и нема излез на екранот. За да ги испуштите сите излез, користете ја следнава команда:
wget -q www.everydaylinuxuser.com
Преземи од повеќе сајтови
Можете да поставите влезна датотека за преземање од многу различни локации.
Отворете датотека користејќи го вашиот омилен уредувач или дури и командата за мачка и едноставно почнете со објавувањето на страниците или линковите за преземање од на секоја линија од датотеката.
Зачувајте ја датотеката и потоа стартувајте ја следнава команда на wget:
wget -i / path / to / inputfile
Покрај тоа што ја подржувате вашата сопствена веб-страница или можеби наоѓате нешто за преземање за да прочитате во возот, малку е веројатно дека ќе сакате да преземете цела веб-страница.
Поверојатно е да преземете еден URL со слики или можеби преземете датотеки како што се zip датотеки, ISO датотеки или датотеки со слики.
Со оглед на тоа, не сакате да го напишете следново во влезната датотека како што е време:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Ако знаете дека основниот URL секогаш ќе биде ист, можете само да го наведете следново во влезната датотека:
- file1.zip
- file2.zip
- file3.zip
Потоа можете да го дадете базниот URL како дел од командата wget на следниов начин:
wget -B http://www.myfileserver.com -i / path / to / inputfile
Пробајте повторно
Ако имате поставено редица датотеки за преземање во влезната датотека и оставате вашиот компјутер да работи цела ноќ за да ги преземете датотеките, ќе бидете прилично вознемирени кога ќе слезете наутро, за да најдете дека се заглави во првата датотека и ја повторува цела ноќ.
Може да го наведете бројот на обиди со помош на следниов прекинувач:
wget -t 10 -i / пат / до / влезна датотека
Можеби ќе сакате да ја користите горенаведената команда во врска со -T прекинувачот кој ви овозможува да наведете временско време во секунди, на следниов начин:
wget -t 10 -T 10 -i / пат / до / влезна датотека
Горенаведената команда ќе се обиде 10 пати и ќе се обиде да се поврзе за 10 секунди за секоја врска во датотеката.
Исто така е прилично досадно кога сте делумно преземале 75% од 4 гигабајт датотеки на бавна широкопојасна конекција само за вашата врска да излезеш.
Можете да го користите wget за да се обидете повторно од каде што престана преземањето со следнава команда:
wget-c www.myfileserver.com/file1.zip
Доколку го напаѓате серверот, домаќин можеби нема да ви се допадне и може или да ги блокира или да ги убие вашите барања.
Можете да наведете период за чекање кој одредува колку долго да чекате помеѓу секое пребарување, на следниов начин:
wget -w 60 -i / path / to / inputfile
Горенаведената команда ќе чека 60 секунди помеѓу секое преземање. Ова е корисно ако преземате многу датотеки од еден извор.
Некои веб-домаќини може да забележат на фреквенцијата сепак и ќе ви го блокираат и онака. Можете да го направите периодот на чекање случајно да ви изгледа како да не користите програма како што следува:
wget --random-wait -i / path / to / inputfile
Заштита на ограничувањата за преземање
Многу интернет провајдери сеуште применуваат ограничувања за преземање за користење на широкопојасен интернет, особено ако живеете надвор од градот.
Можеби сакате да додадете квота за да не ја испуштите границата за преземање. Можете да го направите тоа на следниов начин:
wget -q 100m -i / path / до / inputfile
Забележете дека командата -q нема да работи со една датотека.
Значи, ако преземете датотека со големина од 2 гигабајти, со користење на -q 1000m нема да се запре преземањето на датотеката.
Квотата се применува само кога рекурзивно се преземаат од некоја локација или кога се користи влезната датотека.
Добивање на безбедноста
Некои сајтови бараат да се најавите за да можете да пристапите до содржината што сакате да ја преземете.
Можете да ги користите следните прекинувачи за да го наведете корисничкото име и лозинката.
wget --user = yourusername --password = yourpassword
Забелешка за мулти-кориснички систем ако некој ја изврши командата ps тие ќе можат да го видат вашето корисничко име и лозинка.
Други опции за преземање
Стандардно, -r прекинувачот рекурзивно ќе ја преземе содржината и ќе креира директориуми како што оди.
Можете да ги добиете сите датотеки за преземање во една папка користејќи го следниов прекинувач:
wget-и-r
Спротивното од ова е да се принуди создавање на директориуми кои може да се постигнат со следнава команда:
wget -x -r
Како да преземам одредени типови на датотеки
Ако сакате да превземете рекурзивно од некоја локација, но сакате да преземете само одреден тип на датотека, како што е mp3 или сликата како што е png, можете да ја користите следнава синтакса:
wget -A "* .mp3" -r
Обратно на ова е да се игнорираат одредени датотеки. Можеби не сакате да преземете извршни програми. Во овој случај, ќе ја користите следната синтакса:
wget -R "* .exe" -r
Cliget
Постои додаток на Firefox наречен клигет. Можете да го додадете ова на Firefox на следниов начин.
Посетете https://addons.mozilla.org/en-US/firefox/addon/cliget/ и кликнете на копчето "Додај во Firefox".
Кликнете на копчето за инсталација кога ќе се појави. Ќе треба да го рестартирате Firefox.
За да користите клигете, посетете страница или датотека што сакате да ја преземете и десен клик. Контекстното мени ќе се појави наречено клигета и ќе има опции за "копирање за да ги заборавиш" и "копирај за да навивам".
Кликнете на "copy to wget" опцијата и отворете терминален прозорец, а потоа десен клик и вметнување. Соодветната команда wget ќе биде вметната во прозорецот.
Во основа, ова ви заштедува што морате сами да ја напишете командата.
Резиме
Wget командата како огромен број на опции и прекинувачи.
Затоа вреди да се прочита прирачникот за wget со внесување на следново во терминалниот прозорец:
човек wget