vkListr – списки аккаунтов ВКонтакте

vkListr позволяет скачать список Участников группы/сообщества/паблика ВКонтакте.

Зачем?

Проект затевался как эксперимент с web worker'ом для долгоиграющей задачи. И хотелось сделать что-то OpenSource'ное. Буду рад, если к проекту присоединятся талантливые разработчики.

Ценные моменты

• запросы к API ВКонтакте учитывают их ограничение «не более трёх запросов в 1 секунду»;
• за один запрос получаем почти 25000 аккаунтов. Группа /live с их 3.5млн Участников скачивается за 85 секунд;
• учитывается вероятность изменения списка Участников во время скачивания: пачки по 1000 аккаунтов скачиваются внахлёст и совмещаются. Это позволяет избежать ситуации, когда, напр., скачан первый миллион, и тут 2 аккаунта, покинувшие группу в этот момент (из 1-го млн.), сдвигают все последующие на 2 влево – так несколько валидных аккаунтов могут выпасть из скачивания. Ситуация часто происходит с крупными группами. #todo сделать тест на такую ситуацию.
• код процедур на языке VKScript хранится в отдельных файлах, которые удобно редактировать.
• прогнозируется время окончания длительного скачивания на основании завершенных итераций;
• инструмент работает целиком в браузере, на JavaScript. Однако потребуется разместить файлы на веб сервере и зарегистрировать приложение ВКонтакте, привязанное к вашему домену;
• комментарии кода на английском языке – мне так удобнее.

Демо

Рабочая версия проекта: deserter-io.github.io/vkListr

Установка

Скачать / клонировать репо в папку на веб сервере. Открыть папку или index.html на сайте в браузере. Прямо из локальной папки не заработет – попробуйте дописать протокол http:// скриптам и стилям залинкованным из index.html.

Кроме того, понадобится создать приложение ВКонтакте типа «сайт». Создайте собственное приложение, и впишите его ID вместо предустановленного – в конце файла index.html см. строку App.init({appId: 5092064 }); – вот это число и замените на ID вашего собственного приложения ВКонтакте. В настройках вашего приложения ВКонтакте, в секции Open API укажите домены, с которых ваше приложение будет работать.

Собственное приложение ВК также позволит вам перенести код VKScript'ов в Хранимые процедуры в настройках вашего приложения. Слегка изменив код, вы так сможете чуть ускорить сбор данных.

Планы / TODO

• улучшить интерфейс;
• скачивать также списки Друзей и Подписчиков персон;
• скачивать расширенную информацию об аккаунтах, помимо их id: город, пол, возраст, имя;
• формировать пул из нескольких токенов, перелогиниваясь ВКонтакте, и сохранять его в браузере – для более быстрой работы параллельными воркерами.

Автор

Сергей Соколов
github, ВКонтакте, hello @ sergeisokolov . com
Москва, 2015.