Як запусціць Якія крычаць Frog & URL Profiler на AWS

1. Чаму здарыцца так, што?
2. Калі ласка, увядзіце вэб-службаў Amazon
3. Як наладзіць Box для Windows на AWS з крыклівым Frog і URLProfiler
4. Зараз Вы гатовыя звярнуць
5. Што гэта будзе каштаваць мне?
6. заключэнне

Я быў вялікім прыхільнікам Якія крычаць жабы SEO Павук на працягу шэрагу гадоў. Можна было б моцны націск, каб знайсці канчатковае лік выпадкаў выкарыстання для інструмента , Я таксама вельмі цаню Dan Sharp і яго каманда па-ранейшаму акцэнт на інавацыі і ўдасканаленне з дапамогай прылады, а таксама.

Я таксама люблю шмат іншых інструментаў гусенічных, якія выскачылі на сваім шляху, як DeepCrawl і URLProfiler , Цяпер я таксама знаёмячыся On-Page.org, а таксама і я заклікаю вас, каб даць іх бясплатную пробную версію спіна.

URL Profiler хоць пасадзіў сябе як ісці да інструмента для нашых Працэс аўдыту Змест , Хоць, я заклікаю вас, каб праверыць Новы інструмент ўтрыманне аўдыту Мос ў а таксама.

З таго, што я ведаю кожны з гэтых інструментаў з'яўляецца тое, што ўсе яны маюць свае моцныя і слабыя бакі і выпадкі выкарыстання. Напрыклад, калі мы робім насельніцтва (у параўнанні з узорам на аснове) аўдыт кантэнту на мільёнах старонак, мы звычайна выкарыстоўваем DeepCrawl затым партыі 50k URL-адрасоў у URLProfiler.

Аднак, нягледзячы на, як дзіўныя шукальнікі SaaS ёсць, я заўсёды адчуваю, што я «ведаю» сайт лепш калі я раблю Якія крычаць жабы або URLProfiler поўзаць. Акрамя таго, адзін з членаў нашай каманды пабудавалі, каб прынесці абезгалоўленых прагляд паказвае ў крычала жаба, так што з'яўляецца дадатковым стымулам для нас, каб зрабіць яго працу. Я выдатна разумею, што гэта хутчэй адлюстраванне таго, наколькі добра я ведаю, гэтыя прадукты, чым недахопы іншых прадуктаў. Тым не менш, гэта больш важна, каб рабіць тое, што трэба зрабіць Праца, якую мы PROUD у чым выкарыстоўваць самы складаны інструмент.

Усё, што сказаў, колькі разоў вы былі расчараваныя гэтага дыялогавага вокны?

Чаму здарыцца так, што?

Тэхналагічна, хмарныя сканеры маюць відавочнае перавага ў параўнанні з настольнымі сканэра. Як правіла, воблака-сканеры працуюць з выкарыстаннем шэрагу вузлоў, якія размяркоўваюць поўзаць. Кожны з гэтых вузлоў выконваецца невялікае прыкладанне пад кіраваннем іншага цэнтралізаванага прыкладання, што робіць паўзе ад збояў. Таксама хмарныя сканеры ратуюць свае дадзеныя абыходу кантэнту ў базу дадзеных, так што накладныя выдаткі памяці могуць быць вельмі нізкія. Нарэшце, хмарныя Шукальнікі маюць практычна бясконцае мноства вылічальных рэсурсаў, каб цягнуць ад палягчэння поўзаць. Сумуючы, хмарныя шукальнікі могуць быць размеркаваны, хутчэй і больш устойлівыя да няўдачы. На прыведзенай ніжэй схеме з патэнт eBay дае навочнае паданне аб таго, як правіла, працуе размеркаваная сістэма сканавання аблокі асновы.

З іншага боку, настольныя сканеры абмежаваныя спецыфікацыі вашага кампутара, і яны працуюць у памяці. Калі ваша машына мае 4 ядра працэсара, 8 ГБ аператыўнай памяці, вы працуеце ў Windows 8, ёсць 50 адкрытых укладак ў Chrome і ёсць куча рэзідэнтных працуе, жаба, вельмі верагодна, на самай справе будзе крычаць ад болю, пакуль яна поўзае для вас , Настольны поўзаць па сваёй прыродзе з'яўляецца абмежаваным рэсурсам абыход; Вось чаму ён схільны да збою або запусціць з памяці, калі ён паўзе занадта шмат старонак.

Якія крычаць перавага жабу над URL Profiler з'яўляецца тое, што, як толькі ён дасягне абмежаванні рэсурсу, ён будзе прасіць вас, калі вы хочаце зэканоміць поўзаць, а затым працягвайце ісці. URL Profiler з другога боку будзе проста крах і ўсе гэтыя дадзеныя ўжо няма. Як правіла, я назіраю выкарыстанне працэсаў ў дыспетчару задач і пачаць зачыняць іншыя прыкладання, калі працэсар або памяць занадта блізка да 100%.

Падобна на тое, што шанцы супраць вас для вялікіх сайтаў з інструментамі працоўнага стала? Вядома, яны, вядома, могуць быць, але ні адзін з хмарных прылад не атрымаць мне камбінацыю дадзеных, якую я хачу менавіта так, як я хачу. Так што мы можам зрабіць?

Калі ласка, увядзіце вэб-службаў Amazon

Што мы будзем рабіць цяпер запусціць Якія крычаць жабы і URLProfiler на Amazon Web Services. Гэта дазволіць запускаць інструменты на ізаляванай машыне, якая мае значна больш рэсурсаў, і, верагодна, больш паслядоўную хуткасць, чым усё, што вы ці я маю на нашых офісах. Мая ўласная машына, якая з'яўляецца фантастычным Самсунг Атив-9, мае 2 ядра, 8 Гб аператыўнай памяці і 256 SSD. На АМС мы можам наладзіць машыну, якая мае 40 ядраў, 160 Гб і практычна бясконцую прастору. Мы не будзем, таму што гэта перабор, але вы атрымаеце кропку.

Шанцы, што вы чулі пра Amazon Web Services (AWS), і вы можаце кінуць яго вакол як варыянт для таго, як вы можаце зрабіць модныя рэчы ў Інтэрнэце. Ці, магчыма, вы чыталі пра тое, як паўнамоцтвы многія з прыкладанняў, якія мы ўсе выкарыстоўваем кожны дзень. У любым выпадку, доўгія і кароткія гэтага з'яўляецца Amazon Web Services прадастаўляе віртуальныя вылічальныя рэсурсы ў розных напрамках. Фактычна, вы можаце правесці шэраг сервераў, баз дадзеных, складскіх памяшканняў, і інш ў незлічоных канфігурацыях і маніпуляваць імі праграмна па патрабаванні. Напрыклад, калі вы запускаеце сканаванне ў DeepCrawl, гэта займае некалькі хвілін для таго, каб пачаць працу, таму што ён павінен запусціць шэраг асобнікаў EC2 для палягчэння гэтага мурашкі.

Гэта выпадак выкарыстання не адносіцца да таго, што мы робім тут, але зараз у вас ёсць уяўленне аб тым, як гэтыя інструменты выкарыстоўваць AWS ў сваіх інтарэсах. У гэтым выпадку, мы будзем раскручваць адну скрынку і наладзіць яго, каб проста запусціць менавіта тое, што нам трэба.

Як вы можаце бачыць ніжэй, ёсць мноства розных паслуг, якія прапануюць Amazon. Адзін мы будзем канцэнтравацца на найбольш з'яўляецца Elastic Computing Cloud, як правіла, называюць EC2.

Акрамя таго, вы павінны ведаць крыху пра VPC, каб атрымаць доступ да сервераў выдалена, але мы не будзем паглыбляцца ў гэта.

Хоць пералік паслуг вышэй можа апынуцца складаным, я абяцаю вам працэс атрымання налады будзе даволі бязбольна. Павінны Ці мы?

Як наладзіць Box для Windows на AWS з крыклівым Frog і URLProfiler

Для таго, каб прыйсці ў сябе на Amazon Web Services, мы эфектыўна будзем стварэнне асобніка Windows Server, ўсталёўваць праграмы на ім, працуем нашы абыходы, захоўваючы вобраз гэтага асобніка і зачыняючы яго. Тут мы ідзем!

1. Уваход для Amazon Web Services - Вы будзеце выкарыстоўваць Amazon вам рахунак за гэта. Amazon дае свабодныя 12 месяцаў службы AWS для пачаткоўцаў карыстальнікаў. Майце на ўвазе, што вольны ўзровень ставіцца толькі да пэўных відаў выкарыстання. Выпадкі ў вольным узроўні не будзе дастаткова для таго, што мы шукаем, каб дасягнуць, але цэнаўтварэнне за межы гэтых відаў выкарыстання з'яўляецца цалкам разумным.
2. Запусціце асобнік - Ва- першых, пераканайцеся , што вы знаходзіцеся ў правай зоне даступнасці (у правым верхнім куце, побач з маім імем). Паўночная Вірджынія з'яўляецца самым танным з цэнтраў апрацоўкі дадзеных. Пасля гэтага націсніце кнопку Launch Instance.
3. Выберыце AMI - амазонка Machine Image (AMI) уяўляе сабой папярэдне усталяваны набор настроеных праграм. Замест таго каб стварыць пусты машыны і неабходнасці ўсталёўваць аперацыйную сістэму, Amazon дазваляе кланаваць свежую машыну з аперацыйнай сістэмай вам выбар ужо ўстаноўлена. Вы можаце наладзіць свае ўласныя канфігурацыі і стварыць свой уласны МАС, як добра, але мы не будзем. У гэтым выпадку мы будзем выбіраць Windows Server 2012 R2 базы AMI.
4. Выберыце тып асобніка - Тут вы можаце выбраць вашу вылічальную магутнасць. Як вы можаце бачыць свабодны ярус (t2.micro) дае вам толькі адно ядро ​​і адзін гігабайт аператыўнай памяці. Гэта было б добра, для аднаго вузла, калі вы пішаце сцэнар, які зрабіў сваю поўзанне, але гэта не так, вы працуеце поўнафункцыянальныя памяці галодных прыкладання Windows. Пераход з r3.4xlarge тыпу экзэмпляры з 16 ядрамі і 122 Гб аператыўнай памяці, і хай гэтыя праграмы дыхаць. Вы можаце даведацца Больш падрабязная інфармацыя пра тыпы асобніка, што AWS прапануе тут , Спойлер папярэджанне: Экземпляры R3 з'яўляюцца «памяць аптымізаванымі» і прапанавалі спецыяльна для запуску праграм аналітыкі.

5. Настройка асобніка Падрабязнасці - Вы можаце ў значнай ступені пакінуць гэта ўсё , як па змаўчанні. Ну, гэта была ваш першы асобнік, вам прыйдзецца наладзіць VPC і наладзіць сеткавы інтэрфейс, так што вы можаце ўвайсці на свой сервер Windows. Вы павінны таксама праверыць абарону ад аўтаматычнага выключэння, бо гэта ваш першы раз, гуляючы з АМС; Такім чынам, вы будзеце ўпэўнены, што не страціце якія-небудзь дадзеныя.

   

   
   счытванне гэта для атрымання дадатковай інфармацыі пра наладу VPC ,

6. Настройка групы бяспекі - AWS раздражняльна бяспекі. Вы будзеце мець патрэбу, каб наладзіць групу бяспекі з дапамогай майстра запуску. Групы бяспекі дазваляюць падаць доступ карыстальнікам на аснове іх IP-адрасоў. Аднак, так як вы нічога істотнага не захоўваць на гэтым полі вы можаце пайсці далей і даць доступ да групы бяспекі з любога IP. Калі вы пачнеце што-небудзь каштоўнае эканоміі, я б рэкамендаваў замыкаючы яго аж да IP-адрасоў, што толькі вы і ваша каманда можа атрымаць доступ.
7. Агляд Instance Launch - Як і любы інструмент , які выкарыстоўвае майстар, вы проста зрабіць канчатковую праверку вашай канфігурацыі ў гэтай кропцы. Двойчы праверце, што ваш экран выглядае даволі блізка да гэтага. Вы павінны ўбачыць два індыкатара папярэджання ў верхняй частцы, калі вы наладзілі яго, як я. Ваш тып асобніка будзе адлюстроўваць любыя опцыі, якія вы ўстанавілі.
8. Стварэнне новай пары ключоў - Ключ пара з'яўляецца публічным і прыватным ключом , якім AWS выкарыстоўваецца для рэгістрацыі ў сістэме Windows Server, AWS выкарыстоўвае гэта , каб вы маглі аднавіць пароль адміністратара .. Стварэнне пары ключоў і загрузіце файл.
   
   

9. Падключэнне да экземпляра - AWS дасць вам канфігурацыйны файл для загрузкі для таго , каб падлучыцца да экземпляра з дапамогай Дадатак да выдаленага працоўнага стала , Вам таксама трэба загрузіць пару ключоў першым, каб атрымаць пароль адміністратара тут. Пасля таго, як вы зробіце гэта, пароль адміністратара не мяняецца так да таго часу, як вы трымаеце яго, вам не трэба будзе зноў падключыць праз гэты інтэрфэйс. Так ісці наперад і захаваць пароль і лагін з дапамогай прыкладання Падлучэнне да выдаленага працоўнага стала непасрэдна. Вы хочаце, каб захаваць файл і пароль, каб зрабіць яго лёгка абменьвацца рэгістрацыйнымі дадзенымі з вашымі калегамі.

   

   Пасля таго, як вы ўвайшлі ў сістэму , вы атрымаеце акно Windows , які выглядае наступным чынам (мінус Chrome, URL Profiler і мой Крычаць Frog поўзае каталог):

   

   Натуральна Windows Server мае розныя функцыі ад дома версій, але ён будзе працаваць у асноўным гэтак жа, як Windows 8. RDC будзе прымаць гарачыя клавішы кожны раз, калі акно разгорнута. Калі гэта ваш першы раз выкарыстаць прыкладанне Remote Desktop, праверце гэта паведамленне аб тым, як супаставіць дыскі так што вы можаце атрымаць доступ да лакальных файлаў на выдаленым кампутары.

10. Ўстаноўка Chrome - Першае , што вы хочаце зрабіць , гэта ўсталяваць Chrome так што вы не абцяжараныя мярзоты, якая з'яўляецца Internet Explorer.
11. Змена параметраў налады Internet Security - Вы збіраецеся працаваць на некаторыя пытанні , якія спрабуюць усталяваць Java на гэтым раздражняльна «забяспечыць» ўстаноўку Windows Server. Перайдзіце ў раздзел Налады бяспекі і налады карыстацкага ўзроўню, дазваляючы ўсё. Вы можаце пайсці далей і змяніць яго назад пасля ўстаноўкі Java.

12. Усталюйце Java 64-біт - Вы хочаце ўсталяваць Windows , на форуме 64-бітную ад кіраўніцтва па ўсталёўцы на старонцы Java.com , 64-біт з'яўляецца важным, так як варыянт размеркавання парываў Якія крычаць жабы інакш.

13. Ўсталяваць Кулака Frog SEO Spider - Таму што Кідкая жабу патрабуе крыху больш канфігурацыі , каб атрымаць яго з наддувом, давайце пачнем з гэтага раней усіх. Спампаваць Якія крычаць Frog і ўвесці ліцэнзійны ключ.
    
    
14. Максімізацыя крычала Размеркавання памяці жабы - Якія крычаць жабы маюць канфігурацыйны файл , які дазваляе вызначыць , колькі памяці вылучае для сябе падчас выканання. Гэты файл ScreamingFrogSEOSpider.I4j знаходзіцца з выкананымі файламі прыкладанняў. Адкрыйце яго ў нататніку і змяніць яго вылучэнне памяці 512 Мб па змаўчанні 120GB. Для тых, хто хоча ведаць, што гэта робіць, гэта значэнне зменнай асяроддзя віртуальнай машыны Java, якая кажа Java выдзяляць пэўную колькасць прасторы для крычала жабка. Якія крычаць жаба проста перадае гэта праз на Java, калі ён працуе.
15. Нарасціць ніткі - Па змаўчанні Крычаць Frog выкарыстоўвае толькі 5 патокаў у той час , каб быць добрым для вэб - майстроў. Давайце пандус, што да 15, каб мы маглі атрымаць гэтую працу хутчэй.
    
    
16. Ўсталяваць URL Profiler - Спампаваць URL Profiler, усталяваць яго і пакласці ў ліцэнзійны ключ.
    
    
17. Настройка вашых API Keys - налада вашых API ключы для ўсіх паслуг , якія вы хочаце яго выкарыстоўваць.
    

18. Стварыць AMI малюнка - Цяпер, калі ваш асобнік цалкам наладжаны, мы хочам стварыць вобраз гэтага толькі ў выпадку , калі што - то пойдзе не так , ці вы хочаце стварыць некалькі асобнікаў вашай скрынкі , калі вам трэба працаваць з некалькімі высокаактанавы поўзае на адзін раз.

    

    Дайце малюнку імя.

    

Зараз Вы гатовыя звярнуць

Пакуль я не ведаю абмежаванні гэтай канфігурацыі, я ў цяперашні час, гледзячы на ​​яго ў сярэдзіне 20000000 URL поўзаць. Калі ўзнікнуць якія-небудзь праблемы, вы заўсёды можаце пайсці ў вялікую, напрыклад, для атрымання дадатковай памяці. У ідэале, вы б мець магчымасць дадаваць вялікія аб'ёмы (жорсткія дыскі) у выпадках праграмы маглі абаперціся на віртуальнай памяці, але з тэстаў і дакументацыі уяўляецца, што Якія крычаць жабы і URLProfiler толькі выкарыстаць фізічную памяць. Фактычна, вы абмежаваныя якой-небудзь максімальнай канфігурацыі памяці (244 ГБ у выпадку, калі вам цікава) можна правесці адразу. Для даведкі, Якія крычаць дакументацыі паказвае, жабы што «Наогул кажучы, са стандартным размеркаваннем памяці 512mb павук можа поўзаць паміж 10К-100К URI сайта. Вы можаце павялічыць памяць SEO павука і як вельмі грубы гід, 64-бітнай машына з 8 Гб аператыўнай памяці, як правіла, дазваляюць вам сканаваць некалькі соцень тысяч URL-адрасоў. »Хоць я скептычна ставіўся да гэтага нумару на аснове гэтых спецыфікацый, мяркуючы 8GB атрымлівае вас 200к URL-, то 122GB вы павінны атрымаць 3,05 мільёна URL.

Акрамя таго, прыгажосць аддаленага працоўнага стала з'яўляецца тое, што вы можаце пачаць сканаванне, зачыніць акно, а затым выдаленыя таму ў далейшым і будзе працягвала працаваць ўвесь час. Памятаеце, што Amazon Web Services зараджае у гадзіну, так што не забывайце, што вы запускаеце асобнік, калі вы занепакоеныя тым, што вы марнуеце. Гэта падводзіць мяне да наступнага пункта ...

Што гэта будзе каштаваць мне?

цэны ад Amazon цалкам залежыць ад канфігурацыі і ў іх ёсць цана калькулятар а таксама сістэмы абвесткі выдаткаў, каб дапамагчы вам заставацца на вяршыні.

На падставе канфігурацыі, якую мы выбралі, калі б мы пакінулі яго на працягу 100 гадзін (крыху больш за 4 дзён запар) у месяц, ён бы каштаваў $ 237,33. Забяспечваючы вы маглі поўзаць 3 мільёны URL, у гэты перыяд часу (хуткасць сайта і дросселирования залежная), які нашмат танней, чым $ 2980, што DeepCrawl зборы за 3 мільёны URL-адрасоў з іх аплатай, як вы ідзяце план ,

заключэнне

Натуральна, існуе розныя планы, якія прапануюць хмарныя сканеры і яны робяць шмат працы для вас, ці вы маглі б проста пабудаваць павелічэлую машыну, якая проста працуе крычалі жабы і URLProfiler і зэканоміць грошы. Ці вы маглі б запусціць Якія крычаць Жаба на скрынцы Linux, каб захаваць больш накладных выдаткаў і, магчыма, працаваць на меншым, напрыклад, але я мяркую, што калі б вы маглі, вы, верагодна, не чытаць гэты пост. У любым выпадку хостынг Якія крычаць і URLProfiler на AWS з'яўляецца выдатным кароткатэрміновым рашэннем, калі ваш працоўны стол поўзаць трэба больш энергіі.

Зараз ваша чаргу. Я хацеў бы пачуць , як вы пераадолець абмежаванні працоўнага стала , якія поўзаюць ў каментарах ніжэй!

*** UPDATE: Філі Вайс на самай справе біў мяне удар у гэтым. Праверце яго абмеркаванне аб тым , як запусціць Якія крычаць Жаба на Google Gloud сервераў! ***