MongoDB and type support

[czanik]

I had some distant memories that the MongoDB destination driver also received type support. Now I tried to update a syslog-ng 3.37 config to 4.1 and when trying to push logs to MongoDB, I receive the error message below. I checked the release notes and found that MongoDB is not listed there, just the SQL destination. Can I use MongoDB as an example where type support causes problem? Is there a simple way to store values from JSON to MongoDB? My first thougt was setting the type to string, but then logs cannot be sent to other destinations with proper type support.

[2023-04-17T16:38:41.557472] Failed to format message for MongoDB, dropping message; message='DATE=Apr 17 16:38:41 FACILITY=authpriv HOST=localhost HOST_FROM=localhost MESSAGE=@cee:{"sudo":{"accept":{"uuid":"b5fa4071d2-11a8-4ea9-244d-b47199c74c","server_time":{"seconds":1681742321,"nanoseconds":112963345,"iso8601":"20230417143841Z","localtime":"Apr 17 16:38:41"},"submit_time":{"seconds":1681742321,"nanoseconds":96494197,"iso8601":"20230417143841Z","localtime":"Apr 17 16:38:41"},"submituser":"root","command":"/usr/bin/echo","runuser":"root","runcwd":"/root","ttyname":"/dev/pts/2","submithost":"localhost.localdomain","submitcwd":"/root","runuid":0,"columns":118,"lines":60,"runargv":["echo","bla"],"runenv":["LS_COLORS=rs=0:di=38;5;33:ln=38;5;51:mh=00:pi=40;38;5;11:so=38;5;13:do=38;5;5:bd=48;5;232;38;5;11:cd=48;5;232;38;5;3:or=48;5;232;38;5;9:mi=01;05;37;41:su=48;5;196;38;5;15:sg=48;5;11;38;5;16:ca=48;5;196;38;5;226:tw=48;5;10;38;5;16:ow=48;5;10;38;5;21:st=48;5;21;38;5;15:ex=38;5;40:*.tar=38;5;9:*.tgz=38;5;9:*.arc=38;5;9:*.arj=38;5;9:*.taz=38;5;9:*.lha=38;5;9:*.lz4=38;5;9:*.lzh=38;5;9:*.lzma=38;5;9:*.tlz=38;5;9:*.txz=38;5;9:*.tzo=38;5;9:*.t7z=38;5;9:*.zip=38;5;9:*.z=38;5;9:*.dz=38;5;9:*.gz=38;5;9:*.lrz=38;5;9:*.lz=38;5;9:*.lzo=38;5;9:*.xz=38;5;9:*.zst=38;5;9:*.tzst=38;5;9:*.bz2=38;5;9:*.bz=38;5;9:*.tbz=38;5;9:*.tbz2=38;5;9:*.tz=38;5;9:*.deb=38;5;9:*.rpm=38;5;9:*.jar=38;5;9:*.war=38;5;9:*.ear=38;5;9:*.sar=38;5;9:*.rar=38;5;9:*.alz=38;5;9:*.ace=38;5;9:*.zoo=38;5;9:*.cpio=38;5;9:*.7z=38;5;9:*.rz=38;5;9:*.cab=38;5;9:*.wim=38;5;9:*.swm=38;5;9:*.dwm=38;5;9:*.esd=38;5;9:*.jpg=38;5;13:*.jpeg=38;5;13:*.mjpg=38;5;13:*.mjpeg=38;5;13:*.gif=38;5;13:*.bmp=38;5;13:*.pbm=38;5;13:*.pgm=38;5;13:*.ppm=38;5;13:*.tga=38;5;13:*.xbm=38;5;13:*.xpm=38;5;13:*.tif=38;5;13:*.tiff=38;5;13:*.png=38;5;13:*.svg=38;5;13:*.svgz=38;5;13:*.mng=38;5;13:*.pcx=38;5;13:*.mov=38;5;13:*.mpg=38;5;13:*.mpeg=38;5;13:*.m2v=38;5;13:*.mkv=38;5;13:*.webm=38;5;13:*.ogm=38;5;13:*.mp4=38;5;13:*.m4v=38;5;13:*.mp4v=38;5;13:*.vob=38;5;13:*.qt=38;5;13:*.nuv=38;5;13:*.wmv=38;5;13:*.asf=38;5;13:*.rm=38;5;13:*.rmvb=38;5;13:*.flc=38;5;13:*.avi=38;5;13:*.fli=38;5;13:*.flv=38;5;13:*.gl=38;5;13:*.dl=38;5;13:*.xcf=38;5;13:*.xwd=38;5;13:*.yuv=38;5;13:*.cgm=38;5;13:*.emf=38;5;13:*.ogv=38;5;13:*.ogx=38;5;13:*.aac=38;5;45:*.au=38;5;45:*.flac=38;5;45:*.m4a=38;5;45:*.mid=38;5;45:*.midi=38;5;45:*.mka=38;5;45:*.mp3=38;5;45:*.mpc=38;5;45:*.ogg=38;5;45:*.ra=38;5;45:*.wav=38;5;45:*.oga=38;5;45:*.opus=38;5;45:*.spx=38;5;45:*.xspf=38;5;45:","LANG=en_US.UTF-8","HOSTNAME=localhost.localdomain","TERM=xterm-256color","PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin","MAIL=/var/mail/root","LOGNAME=root","USER=root","HOME=/root","SHELL=/bin/bash","SUDO_COMMAND=/usr/bin/echo bla","SUDO_USER=root","SUDO_UID=0","SUDO_GID=0"]}}} PID=6097 PRIORITY=notice PROGRAM=sudo SOURCE=s_sys SOURCEIP=127.0.0.1 TAGS=.app.cee,.source.s_sys _app.name=cee _cee.sudo.accept.columns=118 _cee.sudo.accept.command=/usr/bin/echo _cee.sudo.accept.lines=60 _cee.sudo.accept.runargv=echo,bla _cee.sudo.accept.runcwd=/root _cee.sudo.accept.runenv=LS_COLORS=rs=0:di=38;5;33:ln=38;5;51:mh=00:pi=40;38;5;11:so=38;5;13:do=38;5;5:bd=48;5;232;38;5;11:cd=48;5;232;38;5;3:or=48;5;232;38;5;9:mi=01;05;37;41:su=48;5;196;38;5;15:sg=48;5;11;38;5;16:ca=48;5;196;38;5;226:tw=48;5;10;38;5;16:ow=48;5;10;38;5;21:st=48;5;21;38;5;15:ex=38;5;40:*.tar=38;5;9:*.tgz=38;5;9:*.arc=38;5;9:*.arj=38;5;9:*.taz=38;5;9:*.lha=38;5;9:*.lz4=38;5;9:*.lzh=38;5;9:*.lzma=38;5;9:*.tlz=38;5;9:*.txz=38;5;9:*.tzo=38;5;9:*.t7z=38;5;9:*.zip=38;5;9:*.z=38;5;9:*.dz=38;5;9:*.gz=38;5;9:*.lrz=38;5;9:*.lz=38;5;9:*.lzo=38;5;9:*.xz=38;5;9:*.zst=38;5;9:*.tzst=38;5;9:*.bz2=38;5;9:*.bz=38;5;9:*.tbz=38;5;9:*.tbz2=38;5;9:*.tz=38;5;9:*.deb=38;5;9:*.rpm=38;5;9:*.jar=38;5;9:*.war=38;5;9:*.ear=38;5;9:*.sar=38;5;9:*.rar=38;5;9:*.alz=38;5;9:*.ace=38;5;9:*.zoo=38;5;9:*.cpio=38;5;9:*.7z=38;5;9:*.rz=38;5;9:*.cab=38;5;9:*.wim=38;5;9:*.swm=38;5;9:*.dwm=38;5;9:*.esd=38;5;9:*.jpg=38;5;13:*.jpeg=38;5;13:*.mjpg=38;5;13:*.mjpeg=38;5;13:*.gif=38;5;13:*.bmp=38;5;13:*.pbm=38;5;13:*.pgm=38;5;13:*.ppm=38;5;13:*.tga=38;5;13:*.xbm=38;5;13:*.xpm=38;5;13:*.tif=38;5;13:*.tiff=38;5;13:*.png=38;5;13:*.svg=38;5;13:*.svgz=38;5;13:*.mng=38;5;13:*.pcx=38;5;13:*.mov=38;5;13:*.mpg=38;5;13:*.mpeg=38;5;13:*.m2v=38;5;13:*.mkv=38;5;13:*.webm=38;5;13:*.ogm=38;5;13:*.mp4=38;5;13:*.m4v=38;5;13:*.mp4v=38;5;13:*.vob=38;5;13:*.qt=38;5;13:*.nuv=38;5;13:*.wmv=38;5;13:*.asf=38;5;13:*.rm=38;5;13:*.rmvb=38;5;13:*.flc=38;5;13:*.avi=38;5;13:*.fli=38;5;13:*.flv=38;5;13:*.gl=38;5;13:*.dl=38;5;13:*.xcf=38;5;13:*.xwd=38;5;13:*.yuv=38;5;13:*.cgm=38;5;13:*.emf=38;5;13:*.ogv=38;5;13:*.ogx=38;5;13:*.aac=38;5;45:*.au=38;5;45:*.flac=38;5;45:*.m4a=38;5;45:*.mid=38;5;45:*.midi=38;5;45:*.mka=38;5;45:*.mp3=38;5;45:*.mpc=38;5;45:*.ogg=38;5;45:*.ra=38;5;45:*.wav=38;5;45:*.oga=38;5;45:*.opus=38;5;45:*.spx=38;5;45:*.xspf=38;5;45:,LANG=en_US.UTF-8,HOSTNAME=localhost.localdomain,TERM=xterm-256color,PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin,MAIL=/var/mail/root,LOGNAME=root,USER=root,HOME=/root,SHELL=/bin/bash,"SUDO_COMMAND=/usr/bin/echo bla",SUDO_USER=root,SUDO_UID=0,SUDO_GID=0 _cee.sudo.accept.runuid=0 _cee.sudo.accept.runuser=root _cee.sudo.accept.server_time.iso8601=20230417143841Z _cee.sudo.accept.server_time.localtime=Apr 17 16:38:41 _cee.sudo.accept.server_time.nanoseconds=112963345 _cee.sudo.accept.server_time.seconds=1681742321 _cee.sudo.accept.submit_time.iso8601=20230417143841Z _cee.sudo.accept.submit_time.localtime=Apr 17 16:38:41 _cee.sudo.accept.submit_time.nanoseconds=96494197 _cee.sudo.accept.submit_time.seconds=1681742321 _cee.sudo.accept.submitcwd=/root _cee.sudo.accept.submithost=localhost.localdomain _cee.sudo.accept.submituser=root _cee.sudo.accept.ttyname=/dev/pts/2 _cee.sudo.accept.uuid=b5fa4071d2-11a8-4ea9-244d-b47199c74c _journald.MESSAGE=@cee:{"sudo":{"accept":{"uuid":"b5fa4071d2-11a8-4ea9-244d-b47199c74c","server_time":{"seconds":1681742321,"nanoseconds":112963345,"iso8601":"20230417143841Z","localtime":"Apr 17 16:38:41"},"submit_time":{"seconds":1681742321,"nanoseconds":96494197,"iso8601":"20230417143841Z","localtime":"Apr 17 16:38:41"},"submituser":"root","command":"/usr/bin/echo","runuser":"root","runcwd":"/root","ttyname":"/dev/pts/2","submithost":"localhost.localdomain","submitcwd":"/root","runuid":0,"columns":118,"lines":60,"runargv":["echo","bla"],"runenv":["LS_COLORS=rs=0:di=38;5;33:ln=38;5;51:mh=00:pi=40;38;5;11:so=38;5;13:do=38;5;5:bd=48;5;232;38;5;11:cd=48;5;232;38;5;3:or=48;5;232;38;5;9:mi=01;05;37;41:su=48;5;196;38;5;15:sg=48;5;11;38;5;16:ca=48;5;196;38;5;226:tw=48;5;10;38;5;16:ow=48;5;10;38;5;21:st=48;5;21;38;5;15:ex=38;5;40:*.tar=38;5;9:*.tgz=38;5;9:*.arc=38;5;9:*.arj=38;5;9:*.taz=38;5;9:*.lha=38;5;9:*.lz4=38;5;9:*.lzh=38;5;9:*.lzma=38;5;9:*.tlz=38;5;9:*.txz=38;5;9:*.tzo=38;5;9:*.t7z=38;5;9:*.zip=38;5;9:*.z=38;5;9:*.dz=38;5;9:*.gz=38;5;9:*.lrz=38;5;9:*.lz=38;5;9:*.lzo=38;5;9:*.xz=38;5;9:*.zst=38;5;9:*.tzst=38;5;9:*.bz2=38;5;9:*.bz=38;5;9:*.tbz=38;5;9:*.tbz2=38;5;9:*.tz=38;5;9:*.deb=38;5;9:*.rpm=38;5;9:*.jar=38;5;9:*.war=38;5;9:*.ear=38;5;9:*.sar=38;5;9:*.rar=38;5;9:*.alz=38;5;9:*.ace=38;5;9:*.zoo=38;5;9:*.cpio=38;5;9:*.7z=38;5;9:*.rz=38;5;9:*.cab=38;5;9:*.wim=38;5;9:*.swm=38;5;9:*.dwm=38;5;9:*.esd=38;5;9:*.jpg=38;5;13:*.jpeg=38;5;13:*.mjpg=38;5;13:*.mjpeg=38;5;13:*.gif=38;5;13:*.bmp=38;5;13:*.pbm=38;5;13:*.pgm=38;5;13:*.ppm=38;5;13:*.tga=38;5;13:*.xbm=38;5;13:*.xpm=38;5;13:*.tif=38;5;13:*.tiff=38;5;13:*.png=38;5;13:*.svg=38;5;13:*.svgz=38;5;13:*.mng=38;5;13:*.pcx=38;5;13:*.mov=38;5;13:*.mpg=38;5;13:*.mpeg=38;5;13:*.m2v=38;5;13:*.mkv=38;5;13:*.webm=38;5;13:*.ogm=38;5;13:*.mp4=38;5;13:*.m4v=38;5;13:*.mp4v=38;5;13:*.vob=38;5;13:*.qt=38;5;13:*.nuv=38;5;13:*.wmv=38;5;13:*.asf=38;5;13:*.rm=38;5;13:*.rmvb=38;5;13:*.flc=38;5;13:*.avi=38;5;13:*.fli=38;5;13:*.flv=38;5;13:*.gl=38;5;13:*.dl=38;5;13:*.xcf=38;5;13:*.xwd=38;5;13:*.yuv=38;5;13:*.cgm=38;5;13:*.emf=38;5;13:*.ogv=38;5;13:*.ogx=38;5;13:*.aac=38;5;45:*.au=38;5;45:*.flac=38;5;45:*.m4a=38;5;45:*.mid=38;5;45:*.midi=38;5;45:*.mka=38;5;45:*.mp3=38;5;45:*.mpc=38;5;45:*.ogg=38;5;45:*.ra=38;5;45:*.wav=38;5;45:*.oga=38;5;45:*.opus=38;5;45:*.spx=38;5;45:*.xspf=38;5;45:","LANG=en_US.UTF-8","HOSTNAME=localhost.localdomain","TERM=xterm-256color","PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin","MAIL=/var/mail/root","LOGNAME=root","USER=root","HOME=/root","SHELL=/bin/bash","SUDO_COMMAND=/usr/bin/echo bla","SUDO_USER=root","SUDO_UID=0","SUDO_GID=0"]}}} _journald.PRIORITY=5 _journald.SYSLOG_FACILITY=10 _journald.SYSLOG_IDENTIFIER=sudo _journald._AUDIT_LOGINUID=0 _journald._AUDIT_SESSION=6 _journald._BOOT_ID=5d7a6c4af85c4ada90355dd633ff77d0 _journald._CAP_EFFECTIVE=1ffffffffff _journald._CMDLINE=sudo echo bla _journald._COMM=sudo _journald._EXE=/usr/bin/sudo _journald._GID=0 _journald._HOSTNAME=localhost.localdomain _journald._MACHINE_ID=c64f1032243d40d18310771f8fd94b56 _journald._PID=6097 _journald._SOURCE_REALTIME_TIMESTAMP=1681742321113238 _journald._SYSTEMD_CGROUP=/user.slice/user-0.slice/session-6.scope _journald._SYSTEMD_INVOCATION_ID=0b622dfdfd764ce7a6cad3317f82cc85 _journald._SYSTEMD_OWNER_UID=0 _journald._SYSTEMD_SESSION=6 _journald._SYSTEMD_SLICE=user-0.slice _journald._SYSTEMD_UNIT=session-6.scope _journald._SYSTEMD_USER_SLICE=-.slice _journald._TRANSPORT=syslog _journald._UID=0 ', driver='d_mongo#0'
[2023-04-17T16:38:41.558296] Message(s) dropped while sending message to destination; driver='d_mongo#0', worker_index='0', time_reopen='60', batch_size='1'

[czanik]

OK. After a bit more testing I have to turn this into a bug report. It seems that logging to MongoDB works with the version string set to 4.1 as long as all name-value pairs are strings. As soon as there is any kind of type information, the above error message appears, and no more logs are saved to MongoDB.

[czanik]

Fix available in syslog-ng 4.2.0