27.06.2017 Сервер Статистики aka Автоматизация измерений Эпизод II
Ustinov (обсуждение | вклад) |
Ustinov (обсуждение | вклад) (→Когда уже статистика?) |
||
| Строка 243: | Строка 243: | ||
</source> | </source> | ||
Скрипт может откинуть начальные измерения, например, чтобы исключить начальные переходные процессы, в данном случае откидываются '''SKIP''' 5000 начальных измерений. | Скрипт может откинуть начальные измерения, например, чтобы исключить начальные переходные процессы, в данном случае откидываются '''SKIP''' 5000 начальных измерений. | ||
| + | |||
| + | В построении графиков поможет '''Octave'''. В него парсятся данные из созданных выше файликов, строятся графики, подсчитывается количество измерений и рассчитывается стандартное отклонение измерений относительно опорной точки по каждому приемнику. | ||
| + | [[File:Std_StatServer.PNG|300px]] | ||
| + | |||
| + | '''n''' - количество накопленных измерений. | ||
| + | |||
| + | Получается картинка примерного вида: | ||
| + | |||
| + | [[File:2017-06-27_00_08_30.png|600px]] | ||
Версия 16:56, 27 июня 2017
- Данная страница продолжает дело создания Сервера Статистики и написана по мотивам нескольких статей: этой, этой и этой. Написана она для того, чтобы подвести итог и чтобы потом не забыть, как это сделано и работает сейчас.
Пути улучшения, как всегда, есть, но это дело будущего.
Содержание |
Что за такой Сервер Статистики?
Сервер Статистики - отдельно выделенный компьютер, работающий круглосуточно, к которому подключены различные приемники, в свою очередь, решающиеся по одной антенне. На данный момент подключены Javad Lexon GGD, Swift Navigation Piksi и наш Oryx в серой коробке походном исполнении. Далее в статье Oryx фигурирует под мейнстримовым названием MCR. IP сервера 192.168.0.94, кодовое имя Evaluator, пользователь srtt, пароль известен.
На протяжении суток Сервер Статистики пишет логи себе в /tmp, а в начале каждых суток (00:00) решается по ним, строит картинки, делает некоторые статистические (вот почему Сервер Статистики, а не логов) вычисления и шлет это на заданные почтовые адреса типа @gmail.com.
После этого для Javad и Oryx логи копируются в папку /home/CommonFiles/logs, затем стираются. Логи для Piksi, в настоящее время, слишком тяжелы, потому они просто стираются без копирования.
Необходимые скрипты находятся в папке /home/CommonFiles/scripts.
Необходимые программы в папке /home/CommonFiles/progs.
Как заставить приемники делиться логами?
Для этого существуют скрипты.
Javad не имеет ethernet возможностей, потому для него два скрипта.
Первый, настраивает приемник и запускает трансляцию данных в сеть - broadcast_javad:
PORT=/dev/ttyUSB0
stty -F $PORT raw
stty -F $PORT 115200 cs8 -parenb -cstopb -ixon
echo "em,,def:{1,,}" > $PORT
echo "em,,jps/gd" > $PORT
echo "em,,jps/qd" > $PORT
echo "em,,jps/WD" > $PORT
nc -l -p 3500 < $PORT
Второй скрипт пишет логи - start_javad_log:
IP=127.0.0.1
TcpPort=3500
DIR=/tmp/
FILE=javad.log
curl $IP:$TcpPort > $DIR/$FILE
MCR транслирует по сети протокол BINR через порт 3491. Для записи логов - start_mcr_log:
IP=192.168.0.163
TcpPort=3491
DIR=/tmp/
FILE=mcr.log
curl $IP:$TcpPort > $DIR/$FILE
Piksi пишет лог с помощью GUI программы swift_console в формате JSON, скрипт start_piksi_log:
IP=192.168.0.222
TcpPort=55555
DIR=/tmp
FILE=piksi.log
echo /home/CommonFiles/progs/swift_console_v1.0.A_linux/console -t -p $IP:$TcpPort -l -o $DIR --logfilename $FILE
DISPLAY=:1 /home/CommonFiles/progs/swift_console_v1.0.A_linux/console -t -p $IP:$TcpPort -l -o $DIR --logfilename $FILE
Сервер Статистики не имеет экрана, но должен запускать GUI приложение, по крайней мере на данный момент так. При запуске GUI приложений выдаются ошибки об отсутствии дисплея и завершении программы, это несколько странно, ведь наш сервер живет и здравствует без экрана, а здесь в качестве выхода из ситуации поднят виртуальный X-сервер, который называется Xvfb, он загружается автоматически при старте системы. Сделано это так. Соответственно, при запуске swift_console принудительно указывается этот виртуальный экран - DISPLAY=:1.
Посмотреть на виртуальный экран можно командой:
Ssvnc также запускается автоматически, но иногда умудряется просто прекращать свою работу, тогда необходимо запустить скрипт run_vnc:
x11vnc -display :1 -bg -nopw -listen 192.168.0.94 -xkb
Доступные сетевые сервисы Сервера Статистики, в том числе проверить работу ssvnc, можно командой:
И что теперь делать с этими логами?
Обработать.
Шаг 1. Конвертировать собранные логи в RINEX формат, поможет convert_all_to_rinex:
DIR=/tmp
JAVAD=$DIR/javad.log
MCR=$DIR/mcr.log
PIKSI=$DIR/piksi.log
echo Javad: $JAVAD
convbin $JAVAD -r javad
echo MCR: $MCR
convbin $MCR -r nvs
echo Piksi: $PIKSI
export PIKSI_OUT=`echo $PIKSI | sed 's/\.log/\.obs/'`
/home/CommonFiles/progs/piksi_tools/piksi_tools/sbp2rinex.py $PIKSI -o $PIKSI_OUT
echo 'All convert!'
Для Javad и MCR используется скомпилированная программа convbin из RTKLib, для Piksi используется sbp2rinex.py, предоставляемая Swift Navigation.
Шаг 2. Рассчитать решение, solve_all_from_rinex:
DIR=/tmp
JAVAD=$DIR/javad.obs
MCR=$DIR/mcr.obs
PIKSI=$DIR/piksi.obs
NAV=`echo $MCR | sed 's/\.obs/\.nav/g'`
GNAV=`echo $MCR | sed 's/\.obs/\.gnav/g'`
REF="2846044.0 2200316.0 5249376.0"
OUT=`echo $JAVAD | sed 's/\.obs/\.pos/g'`
echo "Javad: $JAVAD -> $OUT"
rnx2rtkp -r $REF -p 0 $JAVAD $NAV $GNAV -e > $OUT
OUT=`echo $MCR | sed 's/\.obs/\.pos/g'`
echo "MCR: $MCR -> $OUT"
rnx2rtkp -r $REF -p 0 $MCR $NAV $GNAV -e > $OUT
OUT=`echo $PIKSI | sed 's/\.obs/\.pos/g'`
echo "Piksi: $PIKSI -> $OUT"
rnx2rtkp -r $REF -p 0 $PIKSI $NAV $GNAV -e > $OUT
echo 'All solve!'
Используется скомпилированная программа rnx2rtkp из RTKLib, -r REF - задается опорная точка, -p 0 - задается режим работы (0 - single), -e - формат выдачи данных (e - X/Y/Z ECEF).
Когда уже статистика?
Вот теперь.
Визуализируем полученные данные, plot_all:
DIR=/tmp
JAVAD=$DIR/javad.pos
MCR=$DIR/mcr.pos
PIKSI=$DIR/piksi.pos
JAVAD_OUT=`echo $JAVAD | sed 's/\.pos/\.plane/g'`
echo "$JAVAD -> $JAVAD_OUT"
cat $JAVAD | grep -v "^%" | awk '{print $3" "$4}' > $JAVAD_OUT
#cat $JAVAD | grep -v "^%" | awk '{print $3$4$5" "$6$7$8}' > $JAVAD_OUT
MCR_OUT=`echo $MCR | sed 's/\.pos/\.plane/g'`
echo "$MCR -> $MCR_OUT"
cat $MCR | grep -v "^%" | awk '{print $3" "$4}' > $MCR_OUT
#cat $MCR | grep -v "^%" | awk '{print $3$4$5" "$6$7$8}' > $MCR_OUT
PIKSI_OUT=`echo $PIKSI | sed 's/\.pos/\.plane/g'`
echo "$PIKSI -> $PIKSI_OUT"
cat $PIKSI | grep -v "^%" | awk '{print $3" "$4}' > $PIKSI_OUT
#cat $PIKSI | grep -v "^%" | awk '{print $3$4$5" "$6$7$8}' > $PIKSI_OUT
#pl $MCR_OUT_SKIP $PIKSI_OUT_SKIP $JAVAD_OUT_SKIP
SKIP=5000
MCR_OUT_SKIP=`echo $MCR_OUT | sed 's/\.plane/\.plane_skip/g'`
echo "$MCR_OUT -> $MCR_OUT_SKIP"
cat $MCR_OUT | tail -n +$SKIP > $MCR_OUT_SKIP
JAVAD_OUT_SKIP=`echo $JAVAD_OUT | sed 's/\.plane/\.plane_skip/g'`
echo "$JAVAD_OUT -> $JAVAD_OUT_SKIP"
cat $JAVAD_OUT | tail -n +$SKIP > $JAVAD_OUT_SKIP
PIKSI_OUT_SKIP=`echo $PIKSI_OUT | sed 's/\.plane/\.plane_skip/g'`
echo "$PIKSI_OUT -> $PIKSI_OUT_SKIP"
cat $PIKSI_OUT | tail -n +$SKIP > $PIKSI_OUT_SKIP
octave --eval "graphics_toolkit('gnuplot');
fid=fopen(\"$MCR_OUT_SKIP\", 'r');
mcr_plot=fscanf(fid, '%f %f\n', [2 Inf]);
fclose(fid);
fid=fopen(\"$JAVAD_OUT_SKIP\", 'r');
javad_plot=fscanf(fid, '%f %f\n', [2 Inf]);
fclose(fid);
fid=fopen(\"$PIKSI_OUT_SKIP\", 'r');
piksi_plot=fscanf(fid, '%f %f\n', [2 Inf]);
fclose(fid);
fig = figure();
set (fig, 'visible', 'off');
mcr_plot(1,:) = mcr_plot(1,:)-2846044; piksi_plot(1, :) = piksi_plot(1, :)-2846044; javad_plot(1, :) = javad_plot(1, :)-2846044;
mcr_plot(2,:) = mcr_plot(2,:)-2200316; piksi_plot(2, :) = piksi_plot(2, :)-2200316; javad_plot(2, :) = javad_plot(2, :)-2200316;
plot(mcr_plot(1, :), mcr_plot(2, :),'r-*', piksi_plot(1, :), piksi_plot(2, :),'g-+', javad_plot(1, :), javad_plot(2, :),'b-x');
grid on; set (gca, 'FontSize', 14);
MCR_smpl = length(mcr_plot); piksi_smpl = length(piksi_plot); javad_smpl = length(javad_plot);
samples_str = sprintf('Solutions statistics [MCR: %d, Piksi: %d, Javad: %d]', MCR_smpl, piksi_smpl, javad_smpl);
title (samples_str);
xlabel('X, m');
ylabel('Y, m');
box('off');
Std_MCR = sqrt((norm(mcr_plot,'fro')^2)/MCR_smpl);
Std_Piksi = sqrt((norm(piksi_plot,'fro')^2)/piksi_smpl);
Std_Javad = sqrt((norm(javad_plot,'fro')^2)/javad_smpl);
MCR_lgn = sprintf('MCR: %0.2f m', Std_MCR);
Piksi_lgn = sprintf('Piksi: %0.2f m', Std_Piksi);
Javad_lgn = sprintf('Javad: %0.2f m', Std_Javad);
lgn = legend(MCR_lgn,Piksi_lgn,Javad_lgn,'Location','southeast');
time = strftime ('%Y-%m-%d_%H_%M_%S', localtime (time ()));
mess = sprintf('%s.png', time);
tic ()
print (fig,mess,'-S1024,768','-dpngcairo');
toc ()"
echo 'All plot!'
Скрипт может откинуть начальные измерения, например, чтобы исключить начальные переходные процессы, в данном случае откидываются SKIP 5000 начальных измерений.
В построении графиков поможет Octave. В него парсятся данные из созданных выше файликов, строятся графики, подсчитывается количество измерений и рассчитывается стандартное отклонение измерений относительно опорной точки по каждому приемнику.
n - количество накопленных измерений.
Получается картинка примерного вида:
[ Хронологический вид ]Комментарии
Войдите, чтобы комментировать.