Изграждане на Scheduler за изтегляне с малко умения за програмиране

Съдържание:

Изграждане на Scheduler за изтегляне с малко умения за програмиране
Изграждане на Scheduler за изтегляне с малко умения за програмиране

Видео: Изграждане на Scheduler за изтегляне с малко умения за програмиране

Видео: Изграждане на Scheduler за изтегляне с малко умения за програмиране
Видео: Cómo poner Fondos de Escritorio Animados | Wallpaper Engine | tener fondo de pantalla en movimiento - YouTube 2024, Може
Anonim

Ние всички обичаме да изтегляме неща от интернет и има купища големи инструменти за изтегляне на мениджъри, които можем да използваме, за да планираме изтеглянията си. Може би е по-лесно да използвате мениджър за изтегляне, но няма никаква вреда при изследването на инструментите, които вече идват с Ubuntu, и ще се възползваме пълноценно от него.

В тази статия ще ви покажем вграден софтуер в Ubuntu, който можем да използваме, за да изтегляте неща от интернет Wget, Освен това ще ви покажем как да планирате изтеглянето чрез Cron.

Изтегляне чрез Wget

Wget е безплатен софтуер за извличане на файлове чрез HTTP, HTTPS и FTP, най-широко използваните интернет протоколи. Това е инструмент за неинтерактивна командния ред, така че може лесно да бъде извикан от скриптове, задания cron, терминали без поддръжка от X-Windows и т.н.

Отворете своя терминал и нека да проучим как можем да използваме wget, за да изтегляме неща от мрежата. Основният синтаксис на изтеглянето с wget е следният:

wget [опция] … …

Тази команда ще изтегли наръчника на wget в локалното ви устройство

wget https://www.gnu.org/software/wget/manual/wget.pdf

Linux Cron

Ubuntu идва с демонтрон cron, използван за планиране на задачи, които да бъдат изпълнени в определено време. Crontab ви позволява да посочите действията и часовете, които трябва да бъдат изпълнени. По този начин обикновено зададете задачата посредством инструмента за командния ред.

Отворете терминален прозорец и въведете crontab -e.

Това е основното за Wget и как работи Cron. Нека вземем плячката в реалния пример за това как да планирате изтеглянето.

Изтегляне на график

Ние ще изтеглим Firefox 3.6 в 2 AM.Тъй като нашият ISP дава само ограничен обем данни, трябва да спрем изтеглянето в 8 ч. Ето как изглежда настройката.

[Код] 0 2 * * * wget -c https://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=bg [/Код]

Опциите -c означават, че wget трябва да възобнови съществуващото изтегляне, ако не е завършено.

Четвъртата команда ще спре Wget в 8 часа сутринта. "Killall" е команда UNIX, която убива процеси по име.

[Код] 0 8 * * * killall wget [/Код]

Уинджетът на killall казва на Ubuntu да спре Wget от изтеглянето на файла в 8 часа сутринта.

Други полезни wget команди

1. Задаване на директория за изтегляне на файл

[Код] wget -output-document = / home / zainul / Файлове за изтегляне / wget manual.pdf https://www.gnu.org/software/wget/manual/wget.pdf [/Код]

опцията -output-document ви позволява да зададете директорията и името на файла, който изтегляте

2. Изтегляне на уеб сайт

wget също е в състояние да изтегли уеб сайт.

[Код] wget -m https://www.google.com/profiles/zainul.franciscus [/Код]

В горната команда ще изтеглям цялата си уеб страница с профил в Google. Опцията "-m" указва на wget да изтегли "огледално" изображение на посочения URL адрес.

Друга важна опция е да кажете на wget колко връзки трябва да следва, когато изтегля уебсайт.

[Код] wget -r -l1 https://www.google.com/profiles/zainul.franciscus [/Код]

Горната команда wget използва две опции. Първата опция "-r" указва на wget да изтегли рекурсивно посочения уебсайт. Вторият вариант "-l1" указва на wget да получи само първото ниво на връзки от посочения уебсайт. Можем да създадем до три нива "-12" и "-13".

3. Игнориране на влизането на робота

Web master поддържа текстов файл, наречен Robot.txt. "Robot.txt" поддържа списък с URL адреси, които роботът за уеб страници като wget не трябва да обхожда. Можем да кажем на wget да пренебрегне опцията 'Robot.txt' с '-erobots = off'. Следващата команда казва на wget да изтегли първата страница на моя профил в Google и да игнорира "Robot.txt".

[Код] wget -erobots = изключен https://www.google.com/profiles/zainul.franciscus [/Код]

Друга полезна опция е -U. Тази опция ще маскира wget като браузър. Обърнете внимание, че маскирането на приложение като друго приложение може да наруши срока и услугата на доставчик на уеб услуги.

[Код] wget -erobots = off -U Mozilla https://www.google.com/profiles/zainul.franciscus [/Код]

заключение

Wget е много старо училище, но все още има опасен софтуерен пакет GNU, който можем да използваме, за да изтегляме файлове. Wget е интерактивен инструмент за команден ред, който означава, че можем да го пуснем на компютъра си във фонов режим, без да се налага да стартираме никакви приложения. Проверете страницата на wget man

[Код] $ man wget [/Код]

да разберем други опции, които можем да използваме с wget.

звена

Ръководство на Wget Как да комбинирате два изтеглени файла, когато wget се провали наполовина Linux QuickTip: Изтегляне и сваляне на данни в една стъпка

Препоръчано: