Perpetum reposita. PDS. Архив планетарной системы

В связи со складывающейся ситуацией в российском сегменте сети Интернет, было принято решение сохранить (отзеркалировать) некоторые ресурсы сети, составляющие большую ценность, в силу накопленного человеческого труда, вложенного в их создание.


Есть замечательный сайт-архив Planetary Data System, на котором хранятся публично доступные данные различных миссий американского космического агентства (NASA) по изучению планетарной системы нашего Солнца, с помощью разнообразных инструментов.
Т.к. в рамках темы заметок Perpertum Reposita меня интересует только данные, пригодные для дальнейшей трансформации, то этот сайт кладезь ссылок на наборы данных по планетам солнечной системы.

Луна, Марс, Меркурий, Венера и т.п.

M134991988R. Снимок станции Appolo 17 на Луне (с помощью камеры LROC), рядом с движущимися камнями

Луна (Luna, Moon) и Lunar Reconnaissance Orbiter (LRO)

Ранее, меня интересовала радарная съемка Земли и полученный результат в виде топографических данных, так и для Луны есть почти аналогичный набор данных, созданный с помощью инструмента Lunar Orbiter Laser Altimeter (LOLA) [4]. Altimeter - высотомер. Лазерный высотомер.


Основные данные полученные с инструмента LOLA, хранятся на сайте LOLA Data Archive [5].

Прямая ссылка на иерархию загрузки: http://imbrium.mit.edu/DATA/
NOTE. Очень ресурсоемкий сайт - сотни гигабайт. Чёрт, я не справлюсь, мощностей канала не хватает.

Более подробное исследование видимо позволит уменьшить объём загрузки.

Там представлено несколько наборов данных, в том числе и сырые данные (EDR). Для надежности можно отзеркалировать всё.

EDR - сырые данные, RDR,GDR, SHADR - преобразованные данные.

На момент написания заметки, последний опубликованный набор данных LOLA имел версию 17, от 14 марта, 2014.
"LRO Release 17 includes new LOLA EDR and RDR data acquired between October 14, 2013, and January 9, 2014".
Там в расписании, в июне, прибудет 18 версия.

Для системы Linux есть несколько утилит, позволяющие преобразовать бинарные данные, в более стандартный виды: csv, xyz и т.п. Находятся в каталоге Software: http://imbrium.mit.edu/SOFTWARE/Linux_bin/

На странице ресурса [4] можно найти описание и назначение форматов данных LRO.

※※※

Марс (Mars) и Mars Global Surveyor

Искусственный спутник для Марса Mars Global Surveyor, был запущен в 1999 году и просуществовал до 2006 года. Оборудован лазерным высотомером Mars Orbiter Laser Altimeter (MOLA), который остановил свою работы в 2001 году [10].


Ссылка на данные для загрузки (топографические):
ftp://pds-geosciences.wustl.edu/mgs/mgs-m-mola-5-megdr-l3-v1/mgsl_300x/
Макс. разрешение 128 пикселов на 1 градус.
Объём около 12 Гб.


Также доступны следующие наборы данных:

Сырые данные. Aggregated Experiment Data Records (AEDRs):  http://pds-geosciences.wustl.edu/missions/mgs/aedr.html
Прямая ссылка на AEDR. ftp://pds-geosciences.wustl.edu/mgs/mgs-m-mola-1-aedr-l0-v1/mgsl_1xxx/

Производные:
Precision Experiment Data Records, altimetry profiles:

PEDR. http://pds-geosciences.wustl.edu/missions/mgs/pedr.html
Прямая ссылка на PEDR для зеркалирования. ftp://pds-geosciences.wustl.edu/mgs/mgs-m-mola-3-pedr-l1a-v1/mgsl_21xx/
Объём ~ 22 Гб.

SHADR. http://pds-geosciences.wustl.edu/missions/mgs/shadr.html
Для SHADR доступно 2 файла.
http://pds-geosciences.wustl.edu/mgs/mgs-m-mola-5-shadr-v1/mgsl_2101/data/gtm090aa.sha
http://pds-geosciences.wustl.edu/mgs/mgs-m-mola-5-shadr-v1/mgsl_2101/data/gtm090aa.lbl

PRDR. http://pds-geosciences.wustl.edu/missions/mgs/prdr.html
PRDR. ftp://pds-geosciences.wustl.edu/mgs/mgs-m-mola-3-prdr-l1a-v1/mgslr_xxxx/

Марс и Mars Reconnaissance Orbiter

Mars Reconnaissance Orbiter  - современый аппарат, запущенный в 2005 году, в 2014 году продолжает поставлять данные [15].

Меркурий и Messenger

Для планеты Меркурий доступны данные аппарата Messenger и его прибора лазерного высотомера - Messenger Laser Altimeter MLA [12].

Прямые ссылки для зеркалирования:

Сырые данные лазерного высотометра MLA [13]. http://pds-geosciences.wustl.edu/messenger/mess-e_v_h-mla-2-edr-rawdata-v1/

Объём сырых данных ~.

Я загрузил последнюю миссию, за 2013 год. 1 Гб. Не много. Но, лет там уже десяток.


Преобразованные данные лазерного высотометра MLA: http://pds-geosciences.wustl.edu/messenger/mess-e_v_h-mla-3_4-cdr_rdr-data-v1/

Около 40 Гб. (~ 37 Гб).

Тут стоит заметить, что wget любит учитывать послание роботам - файл robots.txt, но т.к. мы не роботы, а всего лишь пользователи, то для игнорирования robots.txt надо использовать опцию wget:  -e robots=off

Ресурсы

1. Общий сайт Planetary data system. http://pds.jpl.nasa.gov/

2. Сайт университета Washington university of St.Louis, PDS data node. http://pds-geosciences.wustl.edu/default.htm

3. Lunar Reconnaissance Orbiter mission. http://pds-geosciences.wustl.edu/missions/lro/default.htm

4.  Lunar Orbiter Laser Altimeter (LOLA). http://pds-geosciences.wustl.edu/missions/lro/lola.htm
5. LOLA Data Node. http://imbrium.mit.edu/LOLA.html
6. Прямая ссылка для выгрузки. Наборы данных инструмента LOLA. http://imbrium.mit.edu/DATA/

7. Некоторые изображения с камеры LROC. http://lroc.sese.asu.edu/images/
8. Программное обеспечение преобразования формата LRO. http://imbrium.mit.edu/SOFTWARE/Linux_bin/
9. Mars Global Surveyor. http://pds-geosciences.wustl.edu/missions/mgs/index.htm
10. Mars Global Surveyor: MOLA. http://pds-geosciences.wustl.edu/missions/mgs/mola.html
11. Cсылка на страницу топографических данных MOLA: http://pds-geosciences.wustl.edu/missions/mgs/megdr.html
11.1. MOLA - MEGDR. ftp://pds-geosciences.wustl.edu/mgs/mgs-m-mola-5-megdr-l3-v1/mgsl_300x/
11.2. MOLA - PEDR. ftp://pds-geosciences.wustl.edu/mgs/mgs-m-mola-3-pedr-l1a-v1/mgsl_21xx/
11.3. MOLA - AEDR. ftp://pds-geosciences.wustl.edu/mgs/mgs-m-mola-1-aedr-l0-v1/mgsl_1xxx/

12. Messenger Laser Altimeter MLA. http://pds-geosciences.wustl.edu/missions/messenger/mla.htm
13. Прямая ссылка на сырые данные (EDR)  лазерного высотометра MLA:
http://pds-geosciences.wustl.edu/messenger/mess-e_v_h-mla-2-edr-rawdata-v1/
14. Прямая ссылка на производные данные (RDR,GDR)  лазерного высотометра MLA:
 http://pds-geosciences.wustl.edu/messenger/mess-e_v_h-mla-3_4-cdr_rdr-data-v1/

15. Mars Reconnaissance Orbiter. http://pds-geosciences.wustl.edu/missions/mro/default.htm

16. 

17.

※※※

※

Perpetum reposita. GLOBE. Рельеф местности Земли, с шагом 30 угловых секунд.

В связи со складывающейся ситуацией в российском сегменте сети Интернет, было принято решение сохранить (отзеркалировать) некоторые ресурсы сети, составляющие большую ценность, в силу накопленного человеческого труда, вложенного в их создание.

Прощальное фото Земли от спутника Электро-Л. 31.03.2014

Вечное хранение цифрового рельефа

Цифровой рельеф - это численные данные о положении географических мест (точек) в пространстве, в принятой системе отсчёта.

Среди наиболее известных и главное доступных публике - цифровой рельеф Американского Национального Геодезического Центра Данных NGDC  - GLOBE [1], ETOPO1, ETOPO5.

Среди них наибольшее угловое разрешение имеет  GLOBE [1] - 30 угловых секунд, что даёт сетку меридианов на весь "земной шар" 360° х 60' х 2 = 43200.
Но в геодезии не земной шар, а геоид, так что всё посложнее.

В частности, для рассматриваемого здесь набора данных рельефа, используется стандарт  WGS-84.

Прямая ссылка на набор данных цифрового рельефа GLOBE: http://www.ngdc.noaa.gov/mgg/topo/DATATILES/elev/all10g.tgz


Этот набор просто существует. Насколько он актуализируется, это вопрос. Так что однократно скачать не помешает, т.к. на основе этих данных всегда можно создать собственную физическую карту Земли.

Образец карты на основе ETOPO1

ETOPO1 идёт в двух ипостасях - с актуальными высотами льдов (Ice surface), на период создания и высотами подледных земель (Bedrock).

Форматов представлено несколько, из простых вроде - XYZ и netCDF.

Также по 2 разновидности grid-centered и cell-centered. Это какая-то особенность представленного формата. Глубоко я не разбирался, сказать не могу.

Grid-centered:

Прямая ссылка на ледовую версию: http://www.ngdc.noaa.gov/mgg/global/relief/ETOPO1/data/ice_surface/grid_registered/xyz/ETOPO1_Ice_g_int.xyz.gz

Прямая  ссылка на подлёдную версию ETOPO1:http://www.ngdc.noaa.gov/mgg/global/relief/ETOPO1/data/bedrock/grid_registered/xyz/ETOPO1_Bed_g_int.xyz.gz


В принципе, можно отзеркалировать весь FTP каталог ETOPO1 [4]. Данных там на несколько гигабайт. Объём ~ 18 Гб.

Выкопировка:

# ETOPO1 - ЦРМ Земли
# Загружается однократноwget -r -np -nH --cut-dirs=4 -P /media/gimmor/tibibyte/Perpetum/ETOPO1 http://www.ngdc.noaa.gov/mgg/global/relief/ETOPO1/


Благодарность команде:

Amante, C. and B.W. Eakins, 2009. ETOPO1 1 Arc-Minute Global Relief Model: Procedures, Data Sources and Analysis. NOAA Technical Memorandum NESDIS NGDC-24. National Geophysical Data Center, NOAA. doi:10.7289/V5C8276M 25.05.2014.

※※※

Ресурсы

1. Проект GLOBE. http://www.ngdc.noaa.gov/mgg/topo/globe.html
2. Прямая ссылка на данные проекта GLOBE: http://www.ngdc.noaa.gov/mgg/topo/DATATILES/elev/all10g.tgz
3. Проект  ETOPO1 Global Relief Model. http://www.ngdc.noaa.gov/mgg/global/global.html
4. FTP/HTTP каталог ETOPO1: http://www.ngdc.noaa.gov/mgg/global/relief/ETOPO1/
5. Прямая ссылка на ETOPO1 ice surface grid-centered: http://www.ngdc.noaa.gov/mgg/global/relief/ETOPO1/data/ice_surface/grid_registered/xyz/ETOPO1_Ice_g_int.xyz.gz
6. Прямая  ссылка на ETOPO1 bedrock grid-centered: http://www.ngdc.noaa.gov/mgg/global/relief/ETOPO1/data/bedrock/grid_registered/xyz/
7. Сайт с SRTM30+. http://topex.ucsd.edu/WWW_html/mar_topo.html
8. FTP SRTM30 v10. ftp://topex.ucsd.edu/pub/srtm30_plus/

9. Фото Земли со спутника Электро-Л. ftp://electro:electro@ftp.ntsomz.ru/2014/March/31/1030/140331_1030_original_RGB.jpg

※※※

※

Perpetum reposita. Вечное хранение Open Cell ID

В связи со складывающейся ситуацией в российском сегменте сети Интернет, было принято решение сохранить (отзеркалировать) некоторые ресурсы сети, составляющие большую ценность, в силу накопленного человеческого труда, вложенного в их создание.

Вечное хранение открытой базы данных идентификаторов вышек сотовой связи Open Cell ID

Чем может помочь эта база данных обычному пользователю. Например, для улучшения интернета на даче, для лучшего ориентирования, можно выбрать куда направить антенну телефона (модема, роутера), какой провайдер обеспечивает лучшее качество сигнала.
Один из примеров приведён в [4].
Всё это можно посмотреть на сайте проекта Open Cell ID [1].


База данных экспортируется в текстовом формате CSV, описание которого можно найти в [3].

Прямая ссылка на базу данных сотовых вышек. http://downloads.opencellid.org/cell_towers.csv.gz

Помимо этого, в [2] можно найти базу данных измерений мощности и доступности сигнала, в файлах mesuarment. Наибольший последовательный номер у файла - более поздняя и полная копия.

База данных выгружается еженочно, так что качать лучше днём.
Размер менее 200 мегабайт для базы вышек, и чуть более гигабайта для базы измерений.

Для удобства можно использовать команду rsync, чтобы отзеркалировать весь каталог.

 ※※※

Ресурсы

1. Сайт проекта Open CellID. http://opencellid.org/
2. Прямая ссылка на базы данных. http://downloads.opencellid.org/
3. Описание формата выгружаемых данных Open Cell ID (En).http://wiki.opencellid.org/wiki/Menu_map_view#database
4. Как определить местоположение по сетям сотовой связи (Cell ID). http://habrahabr.ru/post/223635/

※※※

※

WWAN 3g модем и Intel DN2800MT

Подключение 3g модема Toshiba Ericsson f3607gw к материнской плате Intel DN2800MT

Подключение производилось для тестирования связки и выявления тонких особенностей. Задумка описана в другой заметке : 3g Интернет в деревне.
Здесь практическая работа, журнал подключения.

Итак, первое подключение.
Для тестирования использовался дистрибутив Ubuntu 11.10 (рабочая система) и Ubuntu 12.04 LiveCD.

К модему обязательно должна быть подключена SIM-карта, без  нее он не работает.

#lsusb

...
Bus 001 Device 002: ID 0930:130c Toshiba Corp. F3607gw Mobile Broadband Module

...

Модуль по сути является usb-устройством, только в исполнении mini PCI-e.

Устройство видится какToshiba Corp. F3607gw Mobile Broadband Module.
Его PID VID 0930:130c.

в каталоге /dev нашлись файлы, относящиеся к устройству. /dev/ttyACM0 (модем), /dev/ttyACM1, /dev/ttyACM2 (gps)


Устройства, созданные модулем, в каталоге /dev:
# for n in `ls /sys/class/*/*{ACM,wdm,usb0}*/device/interface`;do echo $(echo $n|awk -F '/' '{print $5}') : $(cat $n);done

ttyACM0 : TOSHIBA F3607gw Mobile Broadband Data Modem
ttyACM1 : TOSHIBA F3607gw Mobile Broadband Modem
ttyACM2 : TOSHIBA F3607gw Mobile Broadband GPS Port
cdc-wdm0 : TOSHIBA F3607gw Mobile Broadband Device Management
cdc-wdm1 : TOSHIBA F3607gw Mobile Broadband USIM Port

Также устройством (его драйвером) формируется интерфейс wwan0
#ifconfig -a

wwan0     Link encap:Ethernet  HWaddr 02:80:37:ec:02:00  
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:6863 errors:0 dropped:0 overruns:0 frame:0
          TX packets:6665 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:5651645 (5.6 MB)  TX bytes:1563007 (1.5 MB)

#dmesg | grep wwan
[   22.565216] cdc_ether 1-1:1.6: wwan0: register 'cdc_ether' at usb-0000:00:1d.7-1, Mobile Broadband Network Device, 02:80:37:ec:02:00



Первое подключение неудачное. NetworkManager определил устройство, но соединения не устанавливалось. "И так и сяк, ни в какую". Это при том, что была подключена рабочая внешняя антенна и рабочая сим-карта, использовавшиеся в роутере Bigpond.
Следующим шагом было повторная проверка соединений и установлена обычная круговая антенна от роутера и другая сим-карта. Запуск и попытка подключения. Удалось соединится в режиме EDGE. По крайней мере, хоть как-то работает. Провайдер Мегафон.
Как я предполагаю, дело было в контактах между модулем usim, он особенно точно должен ставиться в разъеме. Также важно, чтобы антенные пигтейлы были плотно посажены на разъемы.
Далее, подключил более мощную направленную антенну, правда диапазона Wi-Fi. Загрузка, попытка подключения. Не подключается.
Вернул предыдущую антенну. Подключается в режиме EDGE. Скорость около 21 кб/c.
Дело в том, что в деревне, вышка сотовой связи находится в 5 километрах от места приема и на обычные антенны прием 3g сигнала оказывается невозможным.

Антенны я подключаю после полного обесточивания оборудования.

И наконец, подключение 3g антенны. Загрузка, попытка подключения. Не работает. Что навело на мысль пересмотреть контакты.
Проблема оказалась, что был использован обычный SMA-U.FL пигтейл от старой антенны, а нужен был реверсивный SMA-U.FL. После замены, все решилось. 3g заработал. Скорость составила 6 МБит на загрузку, 0.85 МБит на выгрузку. Да, такие скорости никогда не достигались в этом месте. Бинго.



Включение модуля
Для проверки будет использоваться программа minicom. Установить ее пакет:
#sudo apt-get install minicom

Порт модема /dev/ttyACM1 - контрольный порт, используется для подачи разных команд, снятия состояния сети и пр.

Запуск из под суперпользователя.
#minicom -D /dev/ttyACM1
Параметры порта 115200 8 N 1. Выход из программы - последовательное нажатие CTRL-A X.
В процессе работы через этот порт периодически сыпятся разнобразные сообщения, понять которые, без тщательного изучения AT команд, невозможно.

Проверка того, защищена ли sim-карта pin-кодом.

Запрос: AT+CPIN?
Ответ: +CPIN: READY
Что свидетельствует что sim-карта разблокирована.
Если ответ:
+CPIN: SIM PIN
Для разблокировки sim-карты
Запрос: AT+CPIN="Ваш PIN"
Ответ: OK

Проверка уровня сигнала.
Запрос: AT+CSQ
Ответ:
 11,99
OK
Ответ состоит из двух цфир: +CSQ: 11,99. С помощью первой определяем уровень сигнала в дБ по форумуле: [-113 + Х * 2]. Второе число - количнство ошибок в процентах. 99 - не определено.
Итак уровень получается -91 dB. Например, уровень на направленной 3g антенне -86 dB. В лучшие моменты -79 dB.
Мое предположение, непроверенное пока, что уровень сигнала сообщается для 2G, а не 3G, потому что при разных антеннах, выдается одно и тоже значение. Позже уточню.

Список сетей. Долго думает, но всё же выводит.

AT+COPS=?
+COPS: (2,"MegaFon RUS","MegaFon RUS","25002",0),(2,"MegaFon RUS","MegaFon RUS",
OK
Внутренние часы модуля

Запрос: AT+CCLK?

Ответ: +CCLK: "2000/01/01,03:48:02+00"

OK

Время не установлено, надо установить:

AT+CCLK=«yy/mm/dd,hh:mm:ss+zz» — установить время. Обязательно в таком формате и с ведущими нулями.

Пример:

Запрос: AT+CCLK="2012/08/10,18:28:00+03"

Ответ: OK

После полного обесточивание время не сохраняется, поэтому в некоторых случаях, имеет смысл устанавливать его при загрузке. Для взаимодействия с модемом из скриптов можно использовать программу chat.

Карта включается командой:

Запрос: AT+CFUN=1
Ответ: +PACSP0

Установить только 2g подключение
AT+CFUN=5

Установить только 3g подключение
AT+CFUN=6

Можно это не делать, это всё делает NetworkManager входящий в поставку Ubuntu.

Просмотреть индикатор-состояние:
Запрос: AT+CIND?
Ответ: +CIND: 0,3,1,0,1,0,1,0,0,0,0,0
Вторая цифра показывает уровень сигнала в диапазоне 0-5.


Просмотреть CellID возможно в следующем ответе:
AT+CREG?
+CREG: 2,1,"0E11","01693912"

"01693912" - 2 байта cell id в шестнадцатиричном формате
"0E11" - код местоположения

Просмотр температурной информации

Запрос: AT*E2OTR?
Ответ: *E2OTR: 0,75,80,85,1,57

OK

Проверка баланса 3g модема

Для проверки баланса использовать специальные USSD AT-команды.
Если выполнить на терминале /dev/ttyACM1 ( это управляющий порт) команду:
AT+CUSD=1,"*100#",15

то симка мегафона вернёт текущий баланс счёта.

+CUSD - это префикс для выполнения команд USSD.
*100# - код для запроса баланса у провайдера Мегафон.


Выключение модуля

Для перевода модуля в энергосберегающий режим:
Запрос: AT+CFUN=4
Ответ: OK

Для обесточивания карты (опасная команда, потом потребуется перезагрузка), Карта не будет способна принимать команды.
Запрос: AT+CFUN=0
Ответ: ОК

Использование модуля Ericsson f3607gw как GPS приемника

В модуль Ericsson f3607gw встроена функция GPS - глобального определения координат. Грех ее будет не использовать.
GPS данные поставляются по протоколу NMEA через порт /dev/ttyACM2. По умолчанию, порт выключен и его надо включить отправив AT-команды.

Первый шаг. Отправка строки вида  AT*E2GPSCTL=X,Y,Z в контрольный порт /dev/ttyACM1.
где

X -  0 (выключены NMEA сообщения) или 1 (включены NMEA сообщения)
Y - частота в секундах появления NMEA сообщений (от 1 до 60 сек)
Z -  0 (DGPS выключена) или 1 (DGPS включена)

Запрос: AT*E2GPSCTL=1,5,1
Второй шаг. Отправка в порт /dev/ttyACM2 команды AT*E2GPSNPD. После получения и отработки команды, порт /dev/ttyACM2 перестанет получать команды, до отключения питания. Управление потоком NMEA сообщений сохраниться через контрольный порт /dev/ttyACM1.


Просмотреть, все ли получилось можно обычной командой cat /dev/ttyACM2.

#cat /dev/ttyACM2

$GPGGA,,,,,,0,00,0.5,,M,0.315099,M,0.0000199,0000*7B
$GPRMC,002408.38,V,,,,,,,060180,,,N*77

GPS требует собственной антенны, расчитанной на диапазон около 1.5 ГГц.

Существует стандартный демон gpsd, который позволяет разделять 1 последовательный порт с сообщениями NMEA между нескольким программами.

Выводы
Модем оправдал свои вложения. Не без трудностей, но удалось улучшить Интернет-подключение.


Ресурсы
AT-команды аналогичного устройства. http://www.natisbad.org/E4300/Dell_Wireless_5530_AT_cmd_ref.html
Подробное описание модуля SIM900D. http://we.easyelectronics.ru/part/gsm-gprs-modul-sim900-chast-vtoraya.html