Eugene 222

var phantom = require('phantom');

var sitepage = null;
var phInstance = null;
phantom.create()
    .then(instance => {
        phInstance = instance;
        return instance.createPage();
    })
    .then(page => {
        sitepage = page;
        return page.open('https://stackoverflow.com/');
    })
    .then(status => {
        console.log(status);
        return sitepage.property('content');
    })
    .then(content => {
        console.log(content);
        sitepage.close();
        phInstance.exit();
    })
    .catch(error => {
        console.log(error);
        phInstance.exit();
    });

var request = require('request')
var url = 'http://www.google.com' // input your url here

// use a timeout value of 10 seconds
var timeoutInMilliseconds = 10*1000
var opts = {
  url: url,
  timeout: timeoutInMilliseconds
}

request(opts, function (err, res, body) {
  if (err) {
    console.dir(err)
    return
  }
  var statusCode = res.statusCode
  console.log('status code: ' + statusCode)
})

• Создаете и поддерживаете rotating proxy server через tor(20 запущенных tor инстасов за лоад балансером, для смены ip )
  
• Поддерживаете параллельную закачку(и соответственно message queue) для уникальных текущих/удаленных/недоступных в данных момент URL
  
• Поддерживаете автоматический кравлинг URL на странице, в случае если вы хотите переходить по ссылкам
  
• Поддерживаете несколько типов кравлеров(phantomjs/casperjs/standart http request)
  
• Поддерживаете спуффинг клиента(чтобы вас не засекли ботоловилки с каптчей)
  
• Поддерживаете некоторую эвристику которая должна засекать настоящая ли это страница или honeypot для бота
  

1. Когда ты понимаешь что фреймворк предоставляет разумную абстракцию в твоей предметной области
   
2. Когда ты понимаешь, что реализовывать примитивы доменной области самостоятельно ты будешь до морковина посинения
   
3. Когда рекрутеры выучили новое умное слово и теперь всех нанимают только с этим баззвордом в резюме
   

1. Для каждой html ноды в дереве, вычислить её площадь(рендерите через phantom.js и вычисляете площадь через Element.getBoundingClientRect())
2. Удаляете все, что меньше средней площади на этом уровне. (Вычищаем не имеющие значения блоки)
3. Спускаетесь вниз на один уровень и повторяете алгоритм

1. Сделайте сайт
   
2. Наймите людей на удаленке
   
3. Научитесь ими управлять
   
4. Найдите клиентов
   1. Изучите социальный маркетинг
      
   2. Поймите свои сильные стороны
      
   3. Научитесь продвигать себя в вебе