Wget тушаалууд: жишээ. Wget сүлжээгээр файлуудыг татаж авах консолын програм

Дэлхийн хүн амын тэн хагас нь компьютерийг идэвхтэйгээр ашигладаг, загварлаг график интерфэйсүүдтэй ба ийм баялаг шинжтэй дасалтай орчинд дэлхийд текст програм ашиглах газар байхгүй. 20 жилийн өмнө компьютерийн интерфэйс нь цагаан өнгийн тэмдэгтүүдээс бусад ямар ч зүйлийг харуулаагүй байсан харанхуй хавтан байсан бөгөөд бүх хяналтыг текст командаар дамжуулан гүйцэтгэсэн. Гайхалтай нь, эдгээр хөтөлбөрүүд нь хичнээн муухай, тиймээс тэдгээр нь үйл ажиллагаа, найдвартай байдаг.

Wget гэж юу вэ?

Wget (GNU Wget Linux гэж нэрлэдэг) нь файл, веб хуудсуудтай ажиллах интерактив бус програм юм. Үнэн хэрэгтээ энэ бол интернетийн файлуудыг татаж авах програм бөгөөд интернетийн график интерфэйсгүй байдал, орчин үеийн шийдлүүдэд зориулж нийтлэг байдаггүй менежментийн олон тооны шинж чанартай байдаг.

Хөтөлбөрийг Хорватын инженер Hrvoji Niksic боловсруулсан бөгөөд өнөөгийн хөгжлийг Giuseppe Skrivano болон Линуксийн нийгэмлэг дэмждэг. Эхний бүтээх хэрэгсэл (цаашид "GetURL") 1996 оны 1 сард танилцуулагдсан. Хөтөлбөр нь C програмчлалын хэл дээр бичигдсэн бөгөөд GNU лицензийн доор гарсан байна. Эхлээд энэ хэрэгсэл Линукс платформ дээр гарсан. Цаг хугацаа өнгөрөхөд энэ хэрэгсэл олон хэл дээр орчуулагдсан бөгөөд Windows 7-т Wget (ба newer), Wget for MacOS зэрэг бүх түгээмэл тавцангуудад хөрвүүлэгдсэн байна.

Энэ програм нь интерактив биш бөгөөд энэ нь өөрийн боломжит хүрээнд хийгдсэн ямар ч процессыг хянаж чадахгүй бөгөөд үйлдлийн системийн хяналтын талаар авч үзэх замаар удирдаж болно.

Орчин үеийн хөтчүүд нь ихэвчлэн татагдсан татаж авах менежертэй байдаг ч гэсэн тэд интерактив харилцан ажиллагаанд зориулан боловсруулсан хэвээр байгаа тул гар ажиллагаатай горимд ажиллах нь хэцүү болдог. Wget нь эсрэгээр хэд хэдэн процессуудыг автоматжуулах боломжийг олгодог. Жишээлбэл, хэд хэдэн файл, хуудсыг нэг дор татаж авах боломжтой вэб хуудсын жагсаалтыг текст баримт бичгийг бэлтгэх боломжтой.

Хөтөлбөрийн үндсэн чиг үүрэг

Гэсэн хэдий ч эхнийх нь файлын татаж авах програм юм.

Wget интернетээс аливаа материалыг татаж авч болно. Энэ нь баримт бичгүүд, гүйцэтгэх файл эсвэл бүхэл вэб хуудас HTML хэлбэрээр (янз бүрийн протоколуудаар) татаж авч болно. Файлуудыг FTP-ээр дамжуулан сангуудыг татаж авч болно .

Клиент нь вэб хуудасны анхны бүтцийг сэргээж байхад вэбсайт (эсвэл олон вэбсайт) холбоосоор дамжуулан автоматаар рекурсив татан авалт хийж чаддаг. Сүлжээнд хандахгүйгээр татагдсан вэбсайтыг үзэхгүйгээр харах боломжтой (анхдагчаар үүнийг онлайнаар үзэх хаяг болгон татаж авдаг).

Эхлээд Wget нь удаан болон тогтворгүй холболтын төрлүүдэд тохируулагдсан тул чухал онцлог нь тасалдсан файлыг сэргээх чадвартай байдаг (сервер нь RANGE толгойнуудыг дэмждэг бол боломжтой). Wget нь файлууд болон веб хуудсуудын татаж авах, шинэчлэх (Wget файлын толгойг хянаж, хамгийн сүүлийн хувилбарыг дэмждэг) татаж авах, шинэчлэхийн тулд серверийн статусыг хянах боломжтой.

Хөтөлбөрт мөн олон төрлийн вэбсайтууд, серверүүд дээр тэдгээрийн тодорхой файлууд байгаа эсэхийг судлах аалзийн багажийн хувьд ердийн олон тооны онцлогтой байдаг.

Дэмжигдсэн платформ

Wget Линукс энэ бүтээгдэхүүний үндэс болсон. Дээр дурдсанчлан, энэхүү хэрэгсэл нь зөвхөн Линуксд ажилласан боловч удалгүй түгээмэл болж, бусад системд зохицсон байна. Жишээлбэл, Windows 7-т Wget-ийн хувилбар болон илүү орчин үеийн үйлдлийн системүүд байгаа бөгөөд график интерфэйстэй чуулган байдаг. Линуксийн хувьд програм нь ихэвчлэн түгээлтэд ордог. Зарим Линукс дээрх терминалууд нь эхлээд Wget тушаалуудыг дэмждэг. Ubuntu, Fedora, openSUSE болон бусад хэрэглээний түгээлтийн програмууд нь хайрцагнаас гарч ирдэг програмтай ажилладаг. Дараа нь хөтөлбөрийг нарийвчлан авч үзье.

Тушаалууд нь: үндсэн параметрүүдийн жагсаалт

Дараах тушаалуудын үндсэн жагсаалт нь:

• -V - програмын аль хувилбарыг ашиглаж байгааг олох боломжийг танд олгоно;
• -h - програмтай ажиллахад зориулсан тушаалын хамгийн бүрэн жагсаалтыг харуулав;
• -b - програмыг арын дэвсгэр дээр тавьдаг;

Зурвасын сонголтуудын жагсаалт

Wget тушаалууд нь танд харуулсан мэдээллийг бүрэн хянах боломжийг олгоно. Энд тэдний жагсаалт байна:

• -o logfile - програмын бүх процессийг бүртгэдэг бүртгэлийн файлыг үүсгэдэг;
• -a logfile - нь шинээр үүсгэхийн оронд одоо байгаа бүртгэлийн файлыг нэмэх боломжийг олгодог;
• -d - хөгжүүлэгчид болон дибаггер хийхэд шаардлагатай мэдээллийг харуулдаг (асуудлыг шийдвэрлэхэд тусалдаг ба үйлчлүүлэгчийн алдаан дээр алдаа засах);
• -q - мессеж дэлгэцийг идэвхгүй болгодог;
• -v - энэ тохируулга нь анхдагчаар идэвхждэг бөгөөд програмд тохиолддог бүх процессийн талаар нарийвчилсан тайланг гаргаж өгдөг (бодит хугацаанд);
• -nv - мессежээр хэрэглэгч хүлээн авсан мэдээллээ ихээхэн багасгадаг. Зөвхөн хамгийн чухал өгөгдөл, алдааны мэдэгдэл үлдсэн;
• -i файл (файлын замтай хамт) - тушаал нь файл хайж, үүнээс холбоосыг задалж татаж авдаг; Та HTML гэх мэт янз бүрийн форматтай файлуудыг ашиглаж болно, гэхдээ хэрэв та энэ тушаалыг ашиглавал тушаалын мөрөнд файл руу замыг зааж өгөхгүй;
• -f нь програмыг HTML файл болгон уншихыг; Энэ командыг ашиглан локал HTML баримттай ажиллахдаа алдаанаас зайлсхийж болох юм. Баримт бичгийг зааж өгөхдөө

Ачаалах сонголтуудын жагсаалт

Wget-ийн тусламжтай файл татаж авах үндсэн тушаалууд. Тэдний үндсэн багцыг энд үзүүлэв:

• --bind-address = ADDRESS - Энэ тушаал нь холболтын өгөгдлийг локал машины ADDRESS руу шилжүүлэх боломжийг олгоно. TCP / IP холболтыг ашиглах үед команд нь IP хаягийг зөв зааж өгөхийг шаарддаг (хэрэв нэгээс олон байвал).
• -t тоо (дугаарыг зааж өгөх) - хэрэглэгч татаж авах тоог хэдэн удаа сонгох боломжийг олгодог. Дахин давхардахаас зайлсхийхийн тулд та тэгийн тоотой тэнцүү утгыг заах ёстой.
• -nc - энэ нь сүлжээнд ажиллахгүй болж, татаж саатсан тохиолдолд татаж авсан файлыг өмнөх төлөвт нь сэргээх боломжийг олгодог. Хэрэв та ачаалах тушаалуудын нэгийг ашигладаггүй (-N, -nc, -r), Wget нь хуулбарыг үүсгээд дахин татаж эхэлнэ. -r тохируулга нь та одоо байгаа файлуудыг солих боломжийг олгодог.
• -c нь холболтыг алдсан тохиолдолд файлыг ачаалахад хувь нэмэр оруулдаг (мөн Wget холболтыг сэргээх оролдлогоо өөрөө зогсоосон бол). Файлд холбоос өмнө өгөгдсөн тушаалыг зааж өгөх нь хангалттай. Хэрэв ашигласан сан доторх файлтай төстэй файл байгаа бол Wget үүнийг тодорхойлж түүнийг дахин ачаалах эсэхийг шийднэ. Зөвхөн RANGE толгойнуудыг дэмждэг серверүүд дээр тушаалыг ашиглаж болно.

• - процесс - татаж авах явцын дэлгэцийн төрлийг сонгох боломжтой. Та -progress = бар эсвэл progress = цэгийг зааж өгч болно.
• - үзүүлэгч - файл татаж авах тушаалыг орлуулж сервер дээр байгаа эсэхээ шалгана;
• -w (секундээр) - татагдсан хооронд хугацааны интервалыг заана.
• -q (килобайтын тоо эсвэл мегабайт тоогоор зааж өгсөн) - татаж авсан датаны хэмжээг нарийн тохируулах, хэт их хэмжээгээр хязгаарлах боломжийг олгодог. Гэсэн хэдий ч, нэг файлыг квотын багцаас үл хамааран дуудах болно гэдгийг анхаарах нь зүйтэй юм (өөрөөр хэлбэл, энэ сонголт нь ямар ч хэцүү байсан ч ажиллахгүй гэсэн үг юм).

HTTP параметрүүдийн жагсаалт

• --http-user = ба --http-passwd = - вэбсайт дээр ямар файлуудыг татаж авахыг зөвшөөрсөн нэвтрэх болон нууц үг оруулахыг зөвшөөрөх болно.
• -C = on / off - нь серверийн талбар дээрх өгөгдлийг кэш хийхийг идэвхжүүлэх эсвэл идэвхгүй болгодог.
• --cookies = on / off - кэштэй адил, зөвхөн күүки байна. Аль нэг сегмент нь зочны статистик мэдээллийг хадгалахад шаардлагатай күүкийн өгөгдлийг солилцох буюу зогсоохыг зөвшөөрдөг. Анхдагчаар тохируулга идэвхжсэн боловч күүки нь хатуу дискэнд хадгалагдаагүй байна.
• - хадгалах-күүки - күүкийг хадгалах боломжийг танд олгоно (зөвхөн шинэ өгөгдөл).
• --proxy-user ба -proxy-passwd - прокси сервер дээр зөвшөөрлийн хувьд нэвтрэлт ба нууц үгийг тохируулахыг зөвшөөрдөг (хэрэв хэн нэгэн нь оролцсон бол).

FTP Тохиргооны жагсаалт

Wget-тэй ажиллахад зориулсан дэвшилтэт тохируулгууд. FTP тушаалууд:

• - nr - нь FTP-тэй ажиллах үед аяндаа үүсгэгддэг .list файлаас түр зуурын файлуудыг устгахыг идэвхгүй болгодог;
• -g on / off нь хэрэгсэлийг FTP директорт тусгай тэмдэгт ашиглахыг зөвшөөрдөг;
• --passive-ftp - энэ тушаалыг идэвхгүй FTP горимыг идэвхжүүлэхийн тулд Галт ханын тусламжтай ашиглаж болно (хэрэглэгч өөрөө серверт холбогдох холболтыг үүсгэх).

Тушаалуудыг хэрэглэнэ

Хөтөлбөртэй хамтран ажиллах хамгийн энгийн, хамгийн түгээмэл жишээ нь мэдээж файлуудыг татаж авах явдал юм. Wget тушаалуудыг тест хийхийн тулд та хялбарханаар эхлүүлж, сүлжээн дэхь холбоосыг олж, терминалд оруулж * руу файлын яг бүрэн замыг өгч болно.

Файлыг үргэлжлүүлэн татаж авахын тулд: Wget -c * ашиглан файлын яг бүрэн, бүрэн замыг заасан холбоос.

Хэрэв файлууд болон баримтуудтай холбоо бүхий хуваарьтай жагсаалт байвал Wget -i filelist.txt тушаалыг ашиглаж болно.

Вэб хуудсыг ачаалахын тулд бүх зүйл энд зарим талаараа төвөгтэй байдаг боловч боломжуудын тоо ихсэж байна. Вэбсайтыг татаж авах шаардлагатай үедээ параметрүүдийг дахин оруулахгүйн тулд та скрипт үүсгэж эсвэл бүх тохиргоог .wgetrc файлд тохируулж болно.

Вэб хуудсыг холбоос хэлбэрээр хадгалахын тулд (локал машин дээр тэдгээрийг нээхэд хэцүү байдаг) Wget -m * тушаалыг ашиглаж файл * руу яг яг бүрэн замыг зааж өгч болно.

Интернеттэй холбогдоогүйгээр үзэхийн тулд ижилхэн хуудсыг үзэхийн тулд Wget -r -10 -k * холбоосыг ашиглан * руу файлын яг бүрэн замыг ашиглаж болно.

Wget форматын алдаа олдсонгүй гэсэн тушаал нь ямар нэгэн алдаа ба буруу параметрийн утгыг илэрхийлж болно.